(57)【要約】【課題】本発明は、このような課題に鑑みてなされたものであり、培養容器に書き込まれた文字等のマーク画像を観察画像中から除去して、培地の検出効率を向上させることを可能にする手段を提供する。【解決手段】培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得するステップＳ１と、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成するステップＳ２と、所定のマークの写り込みを除去した画像を出力するステップＳ３とを、コンピュータに実現させる。【選択図】図１
2012042327.tif 000002
【特許請求の範囲】
【請求項１】
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、前記培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成することを特徴とする培養物観察の画像処理方法。
【請求項２】
前記観察画像を、色相、彩度及び明度により表現されるＨＳＶ色空間で取得し、
前記観察画像からＨＳＶ色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項１に記載の培養物観察の画像処理方法。
【請求項３】
コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置として前記コンピュータを機能させるための画像処理プログラムであって、
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、前記培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得するステップと、
前記観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成するステップと、
前記所定のマークの写り込みを除去した画像を出力するステップとを、
前記コンピュータに実現させることを特徴とする培養物観察の画像処理プログラム。
【請求項４】
前記観察画像を、色相、彩度及び明度により表現されるＨＳＶ色空間で取得し、
前記観察画像からＨＳＶ色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項３に記載の培養物観察の画像処理プログラム。
【請求項５】
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過光を用いて撮影する撮像装置と、
前記撮像装置により撮影された観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成する色分離処理部と、
前記色分離処理部により生成された前記所定のマークの写り込みを除去した画像を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置。
【請求項６】
前記観察画像を、色相、彩度及び明度により表現されるＨＳＶ色空間で取得し、
前記観察画像からＨＳＶ色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項５に記載の培養物観察の画像処理装置。
【請求項７】
所定の環境条件で培養物を培養し、
培養物が存在する培養容器中から、請求項５または６に記載の画像処理装置を用いて所定のマークの写り込みを除去した画像を取得し、
前記所定のマークの写り込みを除去した画像に基づいて培地を検出し、
前記培地の中から培養物を識別することを特徴とする培養物の製造方法。
【請求項８】
培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、前記培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、
前記観察画像に写し込まれた前記所定のマーク画像が有する色空間情報を利用して、前記観察画像から前記所定のマークの写り込みを除去した画像を生成し、
前記所定のマークの写り込みを除去した画像に基づいて培地を検出し、
前記培地の中から培養物を識別することを特徴とする培養物の製造方法。
【請求項９】
前記観察画像を、色相、彩度及び明度により表現されるＨＳＶ色空間で取得し、
前記観察画像からＨＳＶ色空間内で色相及び明度に依存しない明度のみに基づく画像を生成して当該明度の画像内において前記培養容器内での前記所定のマーク画像の明度を前記培地の輪郭を除く部分の画像の明度に同調させることにより、前記所定のマークの写り込みを除去した画像を得ることを特徴とする請求項８に記載の培養物の製造方法。
【請求項１０】
識別された培養物を所定の選別基準に基づいて選別し、
選別された培養物を前記培養容器中から採取して保存することを特徴とする請求項７〜９のいずれかに記載の培養物の製造方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、培養容器の中から培養物の培養に用いられる培地の領域を検出するための画像処理手段、及びこれを利用した培養物の製造方法に関する。
【背景技術】
【０００２】
近年、生殖補助医療技術（ＡＲＴ）の発展に伴い、体外受精による受精卵を培養しながらその生育状態を観察することが行われている。受精卵などの培養物の状況を観察する装置の例として、培養顕微鏡が挙げられる（例えば、特許文献１を参照）。培養顕微鏡は、受精卵の培養に好適な環境を形成する培養装置（インベキュータ）と、培養装置に収容された培養容器内の受精卵の状態を顕微観察する顕微観察系とを備え、予め設定された一定時間ごとに受精卵の観察画像を取得し、ユーザが受精卵を目視により認識した上で、受精卵の生育状態の観察、記録、管理等を自動で行うことができるように構成される。
【０００３】
このような装置において、培養容器中の受精卵の成育状態を観察する場合、始めに観察対象の受精卵を検出しなければならないが、その検出手順としては大略的に、培養容器全体を撮影してこの全体観察画像に基づいて培養容器内からミネラルオイルに浸された培地（培地ドロップ）を検出した後で、この培地ドロップ内で観察視野位置を変えつつ培地ドロップの顕微観察画像を複数取得し、この顕微観察画像を基に培地ドロップ内に１個（または複数個）ずつ注入された観察対象の受精卵を他の異物と判別して検出する、という流れになっている。このように受精卵を認識するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれて観察視野（観察範囲）が狭くなってくるため、顕微観察のみでは広い観察範囲に対して多数の顕微観察画像を撮影する必要がある。そのため、前述のように顕微観察による受精卵の検出に先立って、マクロ観察により培地ドロップの領域を事前に検出できれば、その後に顕微観察において観察画像を取得する領域も自ずと限定され、観察時間全体を短縮化することが可能になる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２９６１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
受精卵観察における実際の運用においては、培養容器（例えば、ディッシュの底面や蓋）に培地又は受精卵に関する情報を油性ペン等により直接書き込み、ユーザが目視で各種情報を読み取れるようにしている。しかしながら、ユーザによって培養容器に文字等の情報が書き込まれた場合、観察視野内でこの文字と培地ドロップとが重ならないとは限らず、文字を書いた培養容器を使いまわすときには十分起こり得ることである。そのため、マクロ観察により全体観察画像を取得しても、培地ドロップと重なるように文字等が写し込まれることにより、培地ドロップの輪郭を正確に抽出することができなくなり、結果として培地ドロップの検出効率が低下するという問題があった。
【０００６】
本発明は、このような課題に鑑みてなされたものであり、培養容器に書き込まれた文字等のマーク画像を観察画像中から除去して、培地の検出効率を向上させることを可能にする手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明を例示する第１の態様に従えば、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成することを特徴とする培養物観察の画像処理方法が提供される。
【０００８】
本発明を例示する第２の態様に従えば、コンピュータにより読み取り可能であり、撮像装置により撮影されて画像を取得して画像処理する画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得するステップと、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成するステップと、所定のマークの写り込みを除去した画像を出力するステップとを、コンピュータに実現させることを特徴とする培養物観察の画像処理プログラムが提供される。
【０００９】
本発明を例示する第３の態様に従えば、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過光を用いて撮影する撮像装置と、撮像装置により撮影された観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成する色分離処理部と、色分離処理部により生成された所定のマークの写り込みを除去した画像を外部に出力する出力部とを備えて構成されることを特徴とする培養物観察の画像処理装置が提供される。
【００１０】
本発明を例示する第４の態様に従えば、所定の環境条件で培養物を培養し、培養物が存在する培養容器中から、上記構成の画像処理装置を用いて所定のマークの写り込みを除去した画像を取得し、所定のマークの写り込みを除去した画像に基づいて培地を検出し、培地の中から培養物を識別することを特徴とする培養物の製造方法が提供される。
【００１１】
本発明を例示する第５の態様に従えば、培養物の培養に用いられる培地が収容され光透過性のインクを用いて所定のマークが前記培地の設置面となる底面若しくはこれに対向する蓋面に描画された培養容器内を透過照明して、培養容器内を当該透過光を用いて撮像装置により撮影した観察画像を取得し、観察画像に写し込まれた所定のマーク画像が有する色空間情報を利用して、観察画像から所定のマークの写り込みを除去した画像を生成し、所定のマークの写り込みを除去した画像に基づいて培地を検出し、培地の中から培養物を識別することを特徴とする培養物の製造方法が提供される。
【発明の効果】
【００１２】
このような培養物観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに培養物の製造方法によれば、培地を収容する培養容器に文字等の所定のマークが描画されて観察視野内で培地とマークとがオーバーラップしている場合であっても、マーク画像の色空間情報を利用して、マークの写り込みを除去した画像を生成することにより、培地の検出効率を向上させることが可能になる。
【図面の簡単な説明】
【００１３】
【図１】画像処理プログラムの概要を示すフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】（Ａ）は培養容器の平面図であり、（Ｂ）はディッシュを示す斜視図である。
【図５】培地ドロップと重なるように文字が描画されたディッシュを示す模式図である。
【図６】ＨＳＶ色空間を示す図である。
【図７】画像処理装置の概要構成を示すブロック図である。
【図８】受精卵の製造方法の概要を示すフローチャートである。
【発明を実施するための形態】
【００１４】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本実施形態に係る画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１５】
培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を統括的に制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１６】
培養室２は、培養環境を形成する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室２内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ２ガスやＮ２ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度、二酸化炭素濃度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１７】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１８】
培養容器１０は、培養物の種類や目的等に応じてフラスコやディッシュ、ウェルプレートなど適宜なものが選択され、本実施形態では、図４（Ａ）に示すように、透光性の材質で形成された直径約３５ｍｍの５つのディッシュ１１（容器１１ａ及び蓋１１ｂからなる）と、ディッシュ１１を保持するホルダ１２とを備えた構成を例示しており、図４（Ｂ）に示すように、培養物たる受精卵Ｊは、ｐＨに応じて変色するフェノールレッドなどのｐＨ指示薬が入った培地ドロップＤとともに各ディッシュ１１に注入される。ディッシュ１１の底面には、ピペット等により滴下された２０［μｌ］程度の培地ドロップＤが１〜複数個形成されており（図４（Ｂ）では３個を図示）、培地ドロップＤはディッシュ１１内において無色透明のミネラルオイルＯによって浸された状態となっている。それぞれの培地ドロップＤ内には、例えば対外受精のために同一母体から同時期に採卵された受精卵Ｊが１個（または複数個）ずつ挿入されている。また、培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。
【００１９】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｘステージ４３の先端側に培養容器１０を持ち上げ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００２０】
観察ユニット５は、試料台１５の下側から試料を照明する第１照明部５１、顕微観察系の光軸に沿って試料台１５の上方から試料を照明する第２照明部５２、下方から試料を照明する第３照明部５３、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００（図２を参照）などから構成される。試料台１５は、透光性を有する材質で構成されるとともに観察領域に透明な窓部１６が設けられている。また、試料台１５は、制御ユニット６からの作動制御によりＸＹ方向（水平面内方向）およびＺ方向（上下方向）に移動可能な微細駆動ステージからなり、その上面部に載置された培養容器１０をＸＹ方向に移動させることにより、培養容器１０をマクロ観察系５４の光軸上へ挿入したり、顕微観察系５５の光軸上へ挿入したりすることが可能になっている。
【００２１】
第１照明部５１は、下部フレーム１ｂ側に設けられたＬＣＤ（Liquid Crystal Display）等の面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を射出する複数のＬＥＤや水銀等の光源と、各光源から射出された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５５の光軸に沿って培養容器１０中の試料を照明する。
【００２２】
マクロ観察系５４は、観察光学系５４ａと、この観察光学系５４ａにより結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された試料(培養容器１０)の透過光の像を撮像して全体観察画像（マクロ画像）をカラー画像として取得する。
【００２３】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。上記の第２照明部５２と顕微観察系５５とにより位相差観察用の顕微鏡が構成される。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、本実施形態では少なくとも低倍観察用と高倍観察用との２種類の倍率の間で変倍可能なように切り換えられる。顕微観察系５５は、第２照明部５２により照明された試料の透過光による位相差画像や、第３照明部５３により照明されて試料が発する蛍光による蛍光画像など、培養容器１０内の試料を顕微鏡観察した顕微観察画像（ミクロ画像）を撮影する。
【００２４】
画像処理装置１００は、マクロ観察系５４の撮像装置５４ｃ及び顕微観察系５５の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像（全体観察画像及び顕微観察画像）の画像データに対して色空間情報の変換や画像解析を施し、培地ドロップＤや受精卵Ｊの識別等を行う。画像処理装置１００は、具体的には、次述する制御ユニット６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、この画像処理装置１００については、後に詳述する。
【００２５】
制御ユニット６は、処理を実行するＣＰＵ６１、培養観察システムＢＳの制御プログラムや制御データ等が設定記憶されたＲＯＭ６２、観察条件や画像データ等を一時記憶するＲＡＭ６３などを有し、培養観察システムＢＳの作動を制御する。そのため、図３に示すように、培養室２、搬送装置４、観察ユニット５、操作盤７の各構成機器が制御ユニット６に接続されている。ＲＡＭ６３には、観察プログラムに応じた培養室２の環境条件や、観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等が設定され記憶される。また、ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、培養容器１０のコード番号や撮影日時等を含むインデックス・データと画像データとが対応付けて記録される。
【００２６】
操作盤７には、キーボードやスイッチ等の入出力機器が設けられた操作パネル７１、操作画面や画像データ等を表示する表示パネル７２が設けられ、操作パネル７１において観察プログラムの設定や条件選択、動作指令等の入力が行われる。通信部６５は有線または無線の通信規格に準拠して構成されており、この通信部６５に外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２７】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２８】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込む、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４１，４２，４３を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて培養容器１０の下方から照明光（透過光）を照射し、このバックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御ユニット６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００２９】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０内の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御ユニット６に入力された信号は、画像処理装置１００により処理されて顕微観察画像（位相差画像、蛍光画像等）が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３の画像データ記憶領域に記憶される。
【００３０】
ＣＰＵ６１は、上記のような全体観察像の撮影や顕微観察像の撮影を、観察プログラムに設定された観察スケジュールに基づいて順次実行する。ＲＡＭ６３に記憶された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、例えば指定時刻の全体観察画像や顕微観察画像、画像解析の解析結果などが表示パネル７２に表示される。
【００３１】
さて、このように構成される培養観察システムＢＳにおいて、培養容器１０（ディッシュ１１）中の受精卵Ｊの生育状態を観察する場合、培養容器１０内から観察対象の受精卵を検出しなければならないが、その一連の検出手順としては大略的に、マクロ観察系５４により培養容器１０を撮影して全体観察画像（マクロ画像）を取得し、この全体観察画像から培地ドロップＤを検出した後で、この培地ドロップＤを顕微観察系５５により撮影し、この培地ドロップＤに１つ（または複数個）ずつ注入された観察対象の受精卵を他の異物と判別して受精卵を認識する、という流れになっている。受精卵を検出するためには一般に高倍視野での顕微観察が必要であるところ、観察倍率が高くなるにつれてその観察視野（観察範囲）が狭くなってくるため、培養容器１０内の広い観察範囲に対して多数の画像を撮影取得する必要がある。そのため前述のように、顕微観察による受精卵の検出に先立って、マクロ観察により受精卵が含まれる培地ドロップＤの領域を予め検出できれば、その後に顕微観察において高倍画像を取得する領域も限定され、観察時間全体を短縮化することが可能になる。
【００３２】
このような受精卵観察における実際の運用においては、ディッシュ１１における容器１１ａの底面や蓋１１ｂの表裏面（培地の設置面ともなる底面もしくはこれに対向する蓋面）に培地又は受精卵に関する情報を油性ペン等を用いて直接書き込み、ユーザが目視で各種情報を読み取れるようにしている。しかしながら、ユーザによって培地等の情報を示すマークとして文字、図形、記号、若しくはこれらの組み合わせ（以下、単に「文字」と称する）が描画された場合、観察視野内でこの文字部分と培地ドロップＤとが重ならないとは限らず、ディッシュ１１を使いまわすときには十分起こり得ることである。図５に、ディッシュ１１に文字が書き込まれて培地ドロップＤと文字部分Ｍとが重なった状態（８個の培地ドロップＤを例示）を模式的に示している。このようにマクロ観察５４により全体観察画像を取得しても、培地ドロップＤと文字部分Ｍとが重なって写し込まれることにより、培地ドロップＤの輪郭を正確に抽出することができなくなり、結果として培地ドロップＤの検出効率が低下するという問題があった。
【００３３】
このような不具合を是正するため、画像処理装置１００による培養物観察の画像処理方法は、培養容器１０全体を撮影した全体観察画像を取得し、この観察画像に写し込まれた文字等のマーク画像が持つＲＧＢやＨＳＶなどの色空間情報を利用して、観察画像から当該マークの写り込みを除去した画像を生成するように構成される。それでは、以下にこの画像処理方法について基本的な概念から説明する。
【００３４】
本実施形態においては、ディッシュ１１内の複数の培地ドロップＤを識別するために、培地や受精卵に関する情報をディッシュ１１に書き込む際に、光透過性の有色のインク（例えば、透過色インクの油性ペン）を用いてディッシュ１１に文字などを描画することを特徴とする。マクロ観察系５４によってこのような培養容器１０のバードビュー画像（全体観察画像）を取得すると、この観察画像には、培養容器１０の各ディッシュ１１内において、培地ドロップＤ、文字部分(インク)Ｍ、その他の背景部分（主にミネラルオイルＯ）の像がカラー画像として写し込まれる。
【００３５】
ここで、培地ドロップＤ、文字部分（インク）Ｍ、及びミネラルオイルＯの各々は次のような特徴を持っている。
（培地ドロップ）
培地ドロップＤは、それ自体は無色透明であるが、フェノールレッド等のｐＨ指示薬が入っていると、時間の経過（培地ドロップのｐＨ変化）とともに色が変化するという特徴がある。
（文字部分）
本実施形態で利用するインクは、前述のように、光透過性を持ち有色であるという特徴がある。なお、光透過性を有するインクであれば、油性、水性を問わず、染料インクもしくは顔料インクであってもよく、これらを混在させたインクであってもよい。
（ミネラルオイル）
ミネラルオイルＯは、無色透明であるという特徴がある。
【００３６】
全体観察画像において、色の付いた文字部分Ｍに関しては多少の光量は落ちるものの、ＲＧＢやＨＳＶなどの色空間では培地ドロップＤや背景部分と異なる位置に分布され、このような色空間情報を利用することで、文字部分Ｍの写り込みを除去した画像を生成することができる。以下、ＨＳＶ色空間を利用した画像処理の方法を例示する。
【００３７】
（ＨＳＶ分離）
マクロ観察系５４により撮影された上記のバードビュー画像（カラー画像）に対して、例えば周知の変換式を用いた演算処理や変換テーブルなど利用して、このカラー画像のもつ色空間情報を通常のＲＧＢ色空間からＨＳＶ色空間に変換し、その成分ごとの画像に分離する。ＨＳＶ色空間とは、色相Ｈ（Ｈｕｅ）、彩度Ｓ（Ｓａｔｕｒａｔｉｏｎ）、及び明度Ｖ（Ｖａｌｕｅ）の３つの成分で表現される色空間であり、図６に示すような円錐座標系で表すことができる。
【００３８】
ここで、培地ドロップＤが無色透明（フェノールレッドの注入なし）の場合には、観察画像において色を有するのは文字部分Ｍだけであるため、文字部分ＭはＨＳＶ色空間で他に比して彩度Ｓに大きな値を持つことになる。一方、観察画像は透過照明観察により得られたものであるため、色の付いた文字部分Ｍに関しては多少の光量は落ちるものの、培地ドロップＤ、文字部分Ｍ、及び背景部分（ミネラルオイルＯ）ともにほぼ同じ明度Ｖの値を示すこととなる。従って、明度Ｖの画像では培地ドロップＤ、文字部分Ｍ、及び背景部分が明度分布において同調されるため、Ｖ画像において培地ドロップＤ、文字部分Ｍ、及び背景部分の領域がほぼ一様な明度Ｖでほぼ混然一体となって現れ、このＶ画像において文字部分の写り込みを除去することが可能になる。ここで、Ｖ画像において文字部分は完全除去されている必要はなく、培地ドロップＤの識別のために十分な程度に除去されていれば足りる。従って、Ｖ画像において明度Ｖが大きく異なって現れる部分が、培地ドロップＤや受精卵Ｊの形状を司る輪郭（エッジ）として抽出される。なお、培地ドロップＤがフェノールレッドにより色付けされている場合でも、培地ドロップＤは透光性を有するため、この場合にもＨＳＶ色空間における明度Ｖのみを利用すればよく、これにより培地ドロップＤが時間経過（ｐＨ変化）とともに色変化しても、文字部分の写り込みを除去した画像を生成することができる。また、第１照明部５１からの照明光（透過照明）の一部が文字部分で遮光され、この文字部分からの透過光の光量（明度Ｖ）が低下する場合には、Ｈ値及びＳ値において大きな値をとる色付き部分（文字部分）が持つ明度Ｖにオフセット値を加算して、背景部分等と同調する程度まで明度Ｖの値を補正してもよい。
【００３９】
（培地ドロップの検出）
Ｖ画像において抽出したエッジには、培地ドロップＤの輪郭を示すエッジの他にも、ミネラルオイルＯ中に混入したゴミ等の異物やディッシュ１１の縁などを示すエッジも含まれる可能性がある。よって、培地ドロップと異物などとを判別するために、例えば、観察画像内でオブジェクトの円検出を行って、培地ドロップＤの大きさ（面積）や外形形状（円形度）などに基づいて、標準的な培地ドロップＤの大きさ及び外形形状から逸脱しているオブジェクトをリジェクトして、培地ドロップＤを検出する手法などが例示される。
【００４０】
ここで、画像に写し込まれる培地ドロップＤ（例えば、２０μｌ程度の直径約７ｍｍ）の像の大きさは、画像取得条件（観察倍率等）によりほぼ決まっていることから、培地ドロップＤの候補となり得るオブジェクト（抽出した輪郭に囲まれた領域）の面積を公知の画像処理手法により算出し、面積による判別基準として定めた設定範囲（上限値及び下限値）から逸脱しているものをリジェクトする。
【００４１】
また、培地ドロップＤは、一般に円形状に形成されるという特徴があるため、各オブジェクトの円形度を公知の画像処理手法により求めて、円形度の低いオブジェクトについては予めしきい値を設定しておき、培地ドロップＤの候補から排除する。ここで、円形度とは、オブジェクトの円形の度合いを判定するための尺度である。円形度は、例えば、画像平面内における各々のオブジェクトの重心を判定するとともに各々のオブジェクトの輪郭を抽出し、オブジェクトごとに自身の重心から輪郭までの距離の最大値と最小値の差として求め、その差が大きいほど円形からずれていると判断する。また、円形度の別の指標としては二次のモーメントとして離心率が用いられる。離心率はオブジェクト領域を楕円近似した場合の焦点距離と長軸半径との比で表わされる。
【００４２】
以上説明した培養物観察の画像処理方法によれば、培地ドロップＤを収容するディッシュ１１に培地や受精卵等に関する文字等の情報が書き込まれて観察視野内で培地ドロップＤと文字部分Ｍとがオーバーラップしている場合でも、観察画像の色空間情報としてＨＳＶ色空間の明度Ｖを利用して、観察画像に写し込まれた不要な文字部分を除去することにより、培地ドロップＤの検出効率を向上させることができる。
【００４３】
（アプリケーション）
次に、培養観察システムＢＳの画像処理装置１００において実行される画像解析の具体的なアプリケーションについて図１及び図７を併せて参照しながら説明する。ここで、図１は培養物観察の画像処理プログラムＧＰにおける処理の概要を示すフローチャート、図７は培養物観察の画像処理を実行する画像処理装置１００の概要構成を示すブロック図である。
【００４４】
画像処理装置１００は、撮像装置５４ｃにより観察対象の培養容器１０が撮影された（マクロ画像）を取得して記憶する画像記憶部１１０と、取得したマクロ画像をＲＧＢ色空間からＨＳＶ色空間に変換して文字部分の写り込みを除去した画像を生成する色分離処理部１２０と、色分離処理部１２０により生成された画像などに基づいて培地ドロップＤを検出する画像解析部１３０と、色分離処理部１２０により生成された画像や画像解析部１３０により解析された判断結果を外部に出力する出力部１４０とを備え、色分離処理部１２０及び画像解析部１３０により判断された培地ドロップＤの画像や検出結果を、例えば表示パネル７２に出力して表示させるように構成される。画像処理装置１００は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰがＣＰＵ６１に読み込まれ、ＣＰＵ６１によって画像処理プログラムＧＰに基づく処理が順次実行されることによって構成される。
【００４５】
記述したように、培養観察システムＢＳでは、観察プログラムにおいて設定された観察条件に従って、所定時間ごとに指定された培養容器１０内の観察が行われる。具体的には、ＣＰＵ６１は搬送ユニット４の各ステージを作動させてストッカー３から観察対象の培養容器１０を観察ユニット５に搬送（本実施形態ではマクロ観察系５４の光軸上に配置）し、撮像装置５４ｃによりマクロ画像を撮影させる。
【００４６】
画像処理装置１００は、先ず始めに撮像装置５４ｃにより撮影された全体観察画像（マクロ画像）をステップＳ１において取得し、この取得した画像を、培養容器１０のコード番号や観察位置、観察時刻などのインデックス・データとともに画像記憶部１１０に保存する。
【００４７】
ステップＳ２では、色分離処理部１２０において、全体観察画像の持つ色情報がＲＧＢ色空間からＨＳＶ色空間に変換され、上記取得した観察画像が色相Ｈ，彩度Ｓ，明度Ｖの画像に分離される。ここで取得した明度Ｖの画像において、培地ドロップＤ、文字部分Ｍ、及び背景部分の明度Ｖの値はほぼ同じである。従って、これら培地ドロップＤ、文字部分Ｍ、及び背景部分が明度分布において同調されるため、Ｖ画像において培地ドロップＤ、文字部分Ｍ、及び背景部分の領域がほぼ一様な明度Ｖでほぼ混然一体となって現れ、文字部分Ｍの写り込みが除去された画像となる。一方、明度Ｖの画像では、培地ドロップＤや受精卵Ｊの形状を司る輪郭（エッジ）が明度Ｖの異なる部分として現れる。なお、文字部分Ｍと培地ドロップＤの輪郭とが重なる部分については、明度Ｖが幾分低下するおそれがあるが、その場合でも背景部分などと比べて明らかに明度Ｖが異なって現れ、培地ドロップＤの輪郭（エッジ）を正確に表すことになる。このように観察画像から観察に不要な手書き文字部分を除去することで、次ステップの培地ドロップＤの検出効率を向上させることが可能になる。
【００４８】
続いて、ステップＳ３では、出力部１４０によって、不要な文字部分が除去された全体観察画像（バードビュー画像）が操作盤７の表示パネル７２等に表示される。
【００４９】
ステップＳ４では、例えば前述した円検出の手法を用いて、ディッシュ１１内における培地ドロップＤの領域を検出する。そして、最終的にステップＳ５では、検出された培地ドロップＤの領域を示す検出結果が出力部１４０から出力される。
【００５０】
出力部１４０から出力された検出結果は、操作盤７の表示パネル７２に表示され、観察画像中に、培地ドロップＤの領域を示す輪郭を表示したり、培地ドロップＤであることを示す記号「Ｄ」を表示させたり、培地ドロップＤの輪郭を他の領域と異なる色相や輝度で表示する等が例示される。
【００５１】
なお、出力部１４０から出力される検出データを、通信部６５を介して外部接続されるコンピュータ等に送信して、同様の画像を表示させたり、培地ドロップＤの色変化（ｐＨ変化）や受精卵Ｊの生育状態を観察するための基礎データとして用いたりするように構成することができる。
【００５２】
これにより、ユーザーは、表示パネル７２に表示された画像や外部接続されたコンピュータ等のモニタに表示された画像を参照することにより、培地ドロップＤを直ちに認識することができ、培地ドロップＤの領域についてのみ顕微観察系５５による顕微観察画像を取得して（背景のみの無用な撮影を回避して）、培地ドロップＤの中から目的とする受精卵Ｊを効率的に検出することができる。
【００５３】
次に、培養物たる受精卵の製造方法について図８を追加参照して概要説明する。まず、ステップＳ１１０において、受精卵（培養物）を培地ドロップＤと共に培養容器１０（ディッシュ１１）内に注入し、この培養容器１０を受精卵の培養に適した環境条件に維持された培養室２内に収納して、当該環境条件の下で受精卵を培養する。なお、この環境条件は、制御ユニット６において培養室２内の温度や湿度、二酸化炭素濃度等が受精卵の培養環境に合わせて調節される。
【００５４】
ステップＳ１２０では、培養容器１０内の受精卵観察の前段階として、前述した画像処理のステップＳ１〜Ｓ５（図１を参照）を実行して、ディッシュ１１内から培地ドロップＤの領域を識別する。次いで、ステップＳ１３０では、第２照明部５２を用いて顕微観察系５５により培地ドロップＤの顕微観察画像（例えば位相差画像）を撮影し、この観察画像に写し込まれる複数のオブジェクトの中から受精卵を識別する。このとき培養容器１０（ディッシュ１１）内において、１個の培地ドロップＤに対して受精卵が各１個（または複数個）ずつ識別される。
【００５５】
続いて、ステップＳ１４０では、培地ドロップＤごとに識別された複数の受精卵を所定の選別基準に基づいて選別する。受精卵の選別基準としては、卵割のタイミングや卵割球の形態等に基づいて受精卵のグレードが判定されて、この選別基準を満足する良好なものが選別される。例えば、良好な生育状態を経たものとして、卵内全ての卵細胞において卵割の起きたタイミングが同時期であるか否かに基づいて行われる。すなわち、正常な受精卵の卵割については、同じ世代の各細胞はほぼ同時期のタイミングで分裂し、胚内には同じ世代の細胞のみが存在する。一方、異常な受精卵の卵割については、同じ世代の細胞であっても分裂するタイミングがずれて、胚内には異なる世代の細胞が混在してしまう。
【００５６】
ステップＳ１５０では、上記選別した受精卵（胚盤胞と称される状態にまで成長した良好な受精卵）を採取して、例えばマイナス１９６℃の液体窒素の中で凍結保存する。そして、この受精卵（胚盤胞）は所定の周期のときに母体へ戻される（胚移植される）。なお、培養される受精卵は、ヒト、ウシ、ウマ、ブタ、マウス等の受精卵であってもよい。また、受精卵の保存は胚盤胞の状態で保存してもよいし、分割期（４細胞期胚、８細胞期胚）の状態で保存してもよい。
【００５７】
以上説明したように、本実施形態に係る画像処理プロラムＧＰ、この画像処理プログラムＧＰが実行されることにより構成される画像処理方法及び画像処理装置１００、並びに受精卵の製造方法によれば、培地ドロップＤを収容するディッシュ１１に培地や受精卵等に関する文字等の情報が書き込まれて観察視野内で培地ドロップＤと文字部分Ｍとがオーバーラップしている場合でも、観察画像の色空間情報としてＨＳＶ色空間の明度Ｖを利用して、観察画像に写し込まれた観察に不要な文字部分Ｍを除去することにより、培地ドロップＤの検出効率を向上させることを可能とした画像処理手段を提供することができる。また、培養観察のユーザは、培地や受精卵に関する文字等の情報を培地ドロップＤの配置に関係なくディッシュ１１の容器底面や蓋に書き込んだり、逆に当該文字等の描画位置に関係なく培地ドロップＤをディッシュ１１内に配置することができるため、作業効率を向上させることも可能になる。
【００５８】
なお、上述の実施形態において、観察画像の色空間情報として、ＨＳＶ色空間の明度Ｖを利用したが、本発明はこの実施形態に限定されるものではなく、ＲＧＢ色空間を利用して、観察画像から不要な文字部分の写り込みを除去することができる。例えば、事前にインク色をサンプリングしておいて、この既知のインク色に基づいて、観察画像からその色味を有する部分（すなわち、文字部分）を除去することも可能である。この手法は、インク色がＲ，Ｇ，Ｂの三原色に近い場合に有効な手段である。但し、インク色が淡い色や複雑な混色である場合、インク色が培地ドロップ（フェノールレッドの成分により色付されたもの）の色と同じ場合には、ＲＧＢ色空間よりも上述したＨＳＶ色空間（の明度Ｖ）を利用するのが有効な手段である。また、尺度の異なるその他の色空間として、例えば、Ｌ＊ａ＊ｂ色空間、ＹＵＶ色空間等、任意の色空間に適用してもよい。
【符号の説明】
【００５９】
ＢＳ  培養観察システム                ＧＰ  画像処理プログラム
Ｄ    培地ドロップ                    Ｍ    文字部分（マーク）
Ｊ  受精卵                            ５  観察ユニット
６  制御ユニット                      ７  操作盤
１０  培養容器                        １１  ディッシュ
５４  マクロ観察系                    ５４ｃ  撮像装置
６１  ＣＰＵ                          ６２  ＲＯＭ
６３  ＲＡＭ                          １００  画像処理装置
１２０  色分離処理部                  １３０  画像解析部
１４０  出力部
【図１】
2012042327.tif 000003
【図２】
2012042327.tif 000004
【図３】
2012042327.tif 000005
【図４】
2012042327.tif 000006
【図６】
2012042327.tif 000007
【図７】
2012042327.tif 000008
【図８】
2012042327.tif 000009
【図５】
2012042327.tif 000010