(57)【特許請求の範囲】
【請求項１】
解析対象の元画像を入力する入力手段と、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、
前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、
前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、
前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、
を具備し、
前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、
前記調整画像生成手段は、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、
前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、
前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、
前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する
ことを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記近似多項式曲面を算出する為の連立方程式を、前記抽出手段によって抽出される画素に係る方程式の両辺を０として定めて、前記連立方程式の解を算出することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記調整画像生成手段は、前記元画像の画素群から前記抽出手段によって抽出される画素を除いた画素群の平均値、を前記背景調整値として決定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
コンピュータが、
解析対象の元画像を入力する入力ステップと、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出ステップと、
前記抽出ステップによって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出ステップと、
前記算出ステップによって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成ステップと、
前記元画像と前記背景画像生成ステップによって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成ステップと、
を実行し、
前記調整画像生成ステップは、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、
前記調整画像生成ステップは、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、
前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、
前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、
前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する
ことを特徴とする画像処理方法。
【請求項５】
コンピュータを、
解析対象の元画像を入力する入力手段と、
前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、
前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、
前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、
前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、
を具備し、
前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、
前記調整画像生成手段は、
前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、
前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、
前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、
前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、
前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する
画像処理装置として機能させるためのプログラム。
【請求項６】
請求項５に記載のプログラムが記憶されているコンピュータ読取可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡等によって撮影され、全体領域に対して観察領域の占める割合が大きい画像を解析対象とする画像処理装置等に関するものである。
【背景技術】
【０００２】
現在、家畜などの受精卵をインキュベータ（培養装置）内で培養し、移植可能な状態になるまで発育させることが行われている。品質が低い受精卵は移植しても受胎しにくい為、何らかの仕組みで受精卵の品質を評価する必要がある。牛の体外受精卵の場合、従来は、熟練者が培養７日目に受精卵をインキュベータから取り出し、顕微鏡で観察することで、受精卵の最終品質を評価していた。しかしながら、インキュベータから取り出して観察することは、受精卵にとって大きなストレスとなる。
【０００３】
特許文献１では、インキュベータから受精卵を取り出すことなく撮影された画像のみを用いて、受精卵の品質評価に有益な情報を提示する受精卵品質評価支援システムが開示されている。特許文献１に記載の技術では、受精卵が配置された培養容器を定期的に撮影し、撮影された画像から受精卵を含む最小近似円領域を切り出す。そして、切り出した画像の経時変化を解析することで、受精卵の品質評価に有益な情報を提示している。
【０００４】
ところで、顕微鏡によって撮影されるときの撮影対象に当たる光には、一般に、照度（光の明るさ）の分布にムラ（以下、「照度ムラ」と記載する。）がある。このような顕微鏡によって撮影される画像（顕微鏡画像）に対する照度ムラの影響の除去処理は、その画像に対する他の様々な画像処理を施す前に行われるべき重要なステップであり、様々な手法が考案されている。
例えば、（１）観察対象を置かずに撮影された画像を基準画像として記録しておき、基準画像を利用して除去する手法、（２）画像を周波数分解し、低周波部分をムラとして除去する手法、（３）画像全体の画素に対して、低次数の方程式をフィッティングして背景を推定することにより照度ムラの影響を除去する手法、などが知られている。
従来技術は、画像全体に対して観察対象の占める割合が充分に小さい画像１枚に対して適用する場合、所望の通り、照度ムラの影響を除去することができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１８１４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来技術の（１）の手法では、一定の時間間隔によって連続的に観察する際の照明装置の出力のブレに由来する照度ムラの影響を除去することはできない。
【０００７】
また、従来技術の（２）の手法では、背景を低周波成分、観察対象を高周波成分として分類することになるが、このような分類は、受精卵の画像に対しては不適切である。
一般に、受精卵はその内部の様子を観察することを目的として、大きく撮影される。また、多数の受精卵が１つの培養器にて培養されることも多い。従って、画像全体に占める背景領域が小さくなり、反対に、観察対象である受精卵の占める割合が大きくなる。そうすると、観察対象自体が低周波成分を構成することになり、従来技術の（２）の手法による分類は不適切である。
【０００８】
更に、従来技術の（３）の手法も、受精卵の画像にそのまま適用することはできない。
受精卵内部には、脂肪小滴と呼ばれる光を通しにくい部位が分布する。この脂肪小滴は背景よりも暗く写る。更に、多数の受精卵が１つの培養器にて培養される場合、複数の受精卵が１箇所にまとまって存在することが多い。このような画像に対して従来技術の（３）の背景推定手法を適用すると、受精卵の集合がある領域を、照度ムラの影響によって暗くなっている背景とみなすような計算となってしまい、正確に背景の明度分布（色の明るさの分布）を推定することができない。
【０００９】
本発明は、前述した問題点に鑑みてなされたものであり、その目的とすることは、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる画像処理装置等を提供することである。更に、本発明は、正確に推定される背景の明度分布を示す画像を利用して、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる画像処理装置等を提供することである。
【課題を解決するための手段】
【００１０】
前述した目的を達成するために第１の発明は、解析対象の元画像を入力する入力手段と、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、を具備し、前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、前記調整画像生成手段は、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出することを特徴とする画像処理装置である。
第１の発明によって、全体領域に対して観察領域の占める割合が大きい画像に対して、背景の明度分布を近似多項式曲面として正確に推定することができる。また、近似多項式曲面として推定された背景の明度分布を背景画像として視覚的に確認することができる。また、正確に推定される背景の明度分布を示す画像を利用して、背景に表れてしまう照度ムラの影響を適切に除去することができる。また、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。
【００１３】
第１の発明における前記算出手段は、例えば、前記近似多項式曲面を算出する為の連立方程式を、前記抽出手段によって抽出される画素に係る方程式の両辺を０として定めて、前記連立方程式の解を算出する。
【００１５】
第１の発明における前記調整画像生成手段は、前記元画像の画素群から前記抽出手段によって抽出される画素を除いた画素群の平均値、を前記背景調整値として決定することが望ましい。
これによって、調整画像の背景色は、元画像の背景領域の全体的な色の印象に近い色となる。ひいては、元画像と調整画像とを比較するときに、ユーザは、背景領域の違いにあまり影響されず、観察対象領域に違いがあるかどうかを確認することができる。
【００１６】
第２の発明は、コンピュータが、解析対象の元画像を入力する入力ステップと、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出ステップと、前記抽出ステップによって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出ステップと、前記算出ステップによって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成ステップと、前記元画像と前記背景画像生成ステップによって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成ステップと、を実行し、前記調整画像生成ステップは、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、前記調整画像生成ステップは、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出することを特徴とする画像処理方法である。
第２の発明によって、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる。また、近似多項式曲面として推定された背景の明度分布を背景画像として視覚的に確認することができる。また、正確に推定される背景の明度分布を示す画像を利用して、背景に表れてしまう照度ムラの影響を適切に除去することができる。また、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。

【００１７】
第３の発明は、コンピュータを、解析対象の元画像を入力する入力手段と、前記元画像に係る擬似背景の明度分布の推定結果である近似多項式曲面の算出処理から除外する画素を抽出する抽出手段と、前記抽出手段によって抽出される画素の位置を特定し、当該画素を除外して前記近似多項式曲面を算出する算出手段と、前記算出手段によって算出される前記近似多項式曲面に基づいて、全体領域が前記元画像と同一であって、前記元画像に係る擬似背景の明度分布を示す背景画像を生成する背景画像生成手段と、前記元画像と前記背景画像生成手段によって生成される前記背景画像とに基づいて、前記元画像の明度分布が調整されている画像である調整画像を生成する調整画像生成手段と、を具備し、前記調整画像生成手段は、前記調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、前記背景調整値に基づいて前記調整画像に係る背景領域のみが一様な明度分布となるように、前記調整画像を生成し、前記調整画像生成手段は、前記背景調整値を、前記背景画像の各画素の画素値によって除した値、が各要素となる第１ベクトルを算出し、前記元画像の各画素の画素値と前記背景画像の各画素の画素値との差の絶対値を、所定の画素値レンジによって除した値、が各要素となる第２ベクトルを算出し、前記第１ベクトルの各要素を、前記第２ベクトルの各要素によって重み付けした値、が各要素となる第３ベクトルを算出し、前記第３ベクトルと、前記元画像の各画素の画素値が各要素となる第４ベクトルとの直積、である第５ベクトルを算出し、前記第５ベクトルの各要素を、所定の画素値レンジに基づいて正規化することによって、前記調整画像の各画素の画素値を算出する画像処理装置として機能させるためのプログラムである。
第３の発明を汎用のコンピュータにインストールすることによって、第１の発明の画像処理装置を得ることができる。
【００１８】
第４の発明は、第３の発明のプログラムが記憶されているコンピュータ読取可能な記憶媒体である。
第４の発明によって、第３の発明を容易に配布することができる。
【発明の効果】
【００１９】
本発明により、全体領域に対して観察領域の占める割合が大きい画像に対して、正確に背景の明度分布を推定することができる。更に、正確に推定される背景の明度分布を示す画像を利用して、観察対象の特徴を出来る限り損なうことなく、画像に表れてしまう照度ムラの影響を適切に除去することができる。
【図面の簡単な説明】
【００２０】
【図１】元画像の一例を示す図
【図２】所望の背景画像を示す図
【図３】公知技術によって生成される背景画像を示す図
【図４】公知技術によって生成される調整画像を示す図
【図５】画像処理装置１のハードウエア構成図
【図６】画像処理装置１による処理の流れを示す図
【図７】画像処理装置１によって実行される閾値処理の結果を示す図
【図８】画像処理装置１によって生成される背景画像を示す図
【図９】画像処理装置１によって生成される第１の調整画像を示す図
【図１０】画像処理装置１によって生成される第２の調整画像を示す図
【発明を実施するための形態】
【００２１】
以下図面に基づいて、本発明の実施形態を詳細に説明する。
最初に、本発明の技術的思想の理解を助ける為に、図１から図４を参照しながら、本発明が解析対象とする画像、及び本発明の技術的思想の基礎となる公知技術について説明する。
【００２２】
以下では、一例として、グレースケール画像を対象とする。また、画素値レンジを２５６階調とし、画素値として取り得る値を０〜２５５とする。
全体領域とは、任意の画像データに含まれる全ての画素を含む領域とする。観察対象領域とは、全体領域のうち、観察対象物の画素のみを含む領域とする。背景領域とは、全体領域のうち、観察対象領域を除く領域とする。すなわち、観察対象領域と背景領域との間に、重複する画素はない。
【００２３】
図１は、本発明が解析対象とする元画像の一例を示す図である。
図１は、培養中の受精卵を観察対象とする画像（以下、「受精卵画像」という。）である。図１に示す受精卵画像は、多数の受精卵が１つの培養器にて培養される場合の画像である。
【００２４】
受精卵画像の特徴は、次の通りである。
（１）各受精卵の輪郭周辺は、殻に相当する透明帯が存在し、光の加減によって、背景よりも明るく写る部位と、背景よりも暗く写る部位とが混在する。
（２）各受精卵の内部は、主に脂肪小滴によって占められており、脂肪小滴に起因して、暗く写る部位が大部分である。
（３）多数の受精卵が１つの培養器にて培養される場合、図１に示すように、複数の受精卵が１箇所に固まって存在することが多い。
（４）受精卵の外部（背景）は、照明装置の傾きや撮影装置の出力のぶれなどによって、照度ムラの影響がある。
（５）受精卵の外部（背景）は、ゴミなどに起因して、少なからずノイズが存在する。
（６）各受精卵の明るさの傾向は、ほぼ一様であり、照度ムラの影響をそれほど受けていない。
【００２５】
最も注意すべきことは、（４）の通り、背景領域である受精卵の外部が照度ムラの影響を受けているにも関わらず、（６）の通り、観察対象領域である受精卵の輪郭及び内部は、照度ムラの影響をそれほど受けていないことである。
これは、全体領域と比べて受精卵がかなり大きな構造物であること、かつ、受精卵の表面がほぼ球面の透明な殻（透明帯）によって覆われている為に様々な方向からの光を受けていること、などを理由として、観察対象領域が背景領域に見られる程の極端な照度の違いに晒されていない為であると考えられる。
【００２６】
図２は、所望の背景画像を示す図である。
背景画像とは、元画像に係る擬似背景の明度分布を示す画像である。擬似背景とは、観察対象（図２の例では、受精卵）が存在しないものと仮定して擬似的に算出される背景である。
擬似背景の明度分布は、図１に示す元画像から推定される。図２に示す背景画像は、元画像に表れてしまう照度ムラの影響が正確に推定されている例である。
本発明の目的の１つは、図２に示すような背景画像を生成することである。
【００２７】
尚、受精卵画像は、本発明が解析対象とする画像の一例に過ぎない。本発明は、基本的にどのような画像に対しても適用可能であり、特に、全体領域に対して観察対象領域の占める割合が大きい画像に対して、従来技術では得ることができない良好な結果が得られる。例えば、図２に示すような背景画像を生成することができる。
【００２８】
次に、本発明の技術的思想の基礎となる背景推定手法（従来技術の（３）の背景推定手法）について説明する。
以下、（・・・）Ｔはベクトルや行列の転置を表し、（・・・）−１は逆行列を表す。
縦方向の画素数：ＮＨ、横方向の画素数：Ｎｗ、総画素数：Ｎ（＝ＮＨ×ＮＷ）の画像ｐについて、ｉ（ｉ＝１、・・・、Ｎ）番目の画素（横方向の座標：ｘ、縦方向の座標：ｙ）の画素値をｐｉとする。
画像ｐは、ベクトルとして表現し、ｐ＝（ｐ１、・・・、ｐｉ、・・・、ｐＮ）Ｔとする。
【００２９】
前述の照度ムラは、発生原理から考えると、空間的に緩慢な変化を有すると仮定できる。そこで、本発明では、Ｋ次の多項式曲面ｂによって、照度ムラの影響を含む擬似背景の明度分布を近似する。
【００３０】
Ｋ次の多項式曲面ｂの横方向の座標ｘ、縦方向の座標ｙにおける値ｂ（ｘ、ｙ）は、要素数Ｍ＝（Ｋ＋１）×（Ｋ＋２）／２の係数ベクトルｃ＝（ｃ０、・・・、ｃｉ、・・・、ｃＭ−１）Ｔによって、次式によって定義される。
【００３１】
【数１】
0005601133.tif 000002
【００３２】
ここで、画像ｐを多項式曲面ｂによって近似するために、Ｎ行Ｍ列の係数行列Ｚを用いて過剰定義系の連立方程式Ｚｃ＝ｐを定式化する。
但し、係数行列Ｚのｉ行目のベクトルの要素ｚｉは、ｚｉ＝（１、ｘｉ、ｙｉ、ｘｉ２、ｙｉ２、ｘｉｙｉ、・・・、ｙｉＭ）である。
例えば、Ｋ＝２の場合、Ｍ＝６となり、ｚｉ＝（１、ｘｉ、ｙｉ、ｘｉ２、ｙｉ２、ｘｉｙｉ）である。
また、例えば、Ｋ＝３の場合、Ｍ＝１０となり、ｚｉ＝（１、ｘｉ、ｙｉ、ｘｉ２、ｙｉ２、ｘｉｙｉ、ｘｉ３、ｙｉ３、ｘｉ２ｙｉ、ｘｉｙｉ２）である。
【００３３】
過剰定義系の連立方程式とは、未知の変数よりも、方程式の数が多い連立方程式である。
連立方程式Ｚｃ＝ｐでは、未知の変数がＭ個であり、方程式の数がＮ個となる。前述の通り、Ｎは画像ｐの総画素数であるから、少なくとも数十万個以上である。一方、Ｍは多項式曲面の次数によるところ、次数をむやみに多くしても精度の向上につながるわけではない。一般的には、Ｋ＝２〜４程度であるが、仮に、Ｋ＝１０としても、Ｍ＝６６である。
従って、Ｍ≪Ｎであり、連立方程式Ｚｃ＝ｐは、実用上、必ず過剰定義系となる。
【００３４】
連立方程式Ｚｃ＝ｐは、次式の最小二乗解ｃ＊を算出することによって解くことができる。
【００３５】
【数２】
0005601133.tif 000003
【００３６】
式（２）の解法は例示するまでもなく良く知られており、最小二乗解ｃ＊は次式によって与えられる。
【００３７】
【数３】
0005601133.tif 000004
【００３８】
式（３）の最小二乗解ｃ＊によって、多項式曲面ｂは、次式によって与えられる。
【００３９】
【数４】
0005601133.tif 000005
【００４０】
式（４）によって得られる多項式曲面ｂに基づいて、全体領域が元画像と同一の背景画像を生成することができる。
以上が、本発明の技術的思想の基礎となる背景推定手法である。しかしながら、本発明が解決しようとする課題の説明において前述したように、この背景推定手法を受精卵画像にそのまま適用すると、複数の受精卵が存在する観察対象領域を照度ムラの影響によって暗くなっている背景とみなすような計算となってしまい、正確に背景の明度分布を推定することができない。このことについて、図３、図４を参照しながら説明する。
【００４１】
図３は、公知技術によって生成される背景画像を示す図である。図２と図３を比較すると、図３の方が、中央部分が黒っぽくなっていることが分かる。この部分は、元画像（図１）の受精卵の位置と一致しており、前述の公知の背景推定手法では、観察対象領域を照度ムラの影響によって暗くなっている背景とみなしていることが分かる。
【００４２】
図４は、公知技術によって生成される調整画像を示す図である。
調整画像とは、元画像の明度分布が調整されている画像である。
最も望ましい調整画像は、観察対象領域の明度分布が元画像とほぼ同じ特徴（例えば、濃淡のコントラスト）を有していること、かつ、背景領域のみが一様な明度分布となることである。
これは、観察対象領域の明度分布の特徴が元画像と異なるような調整画像では、受精卵の品質評価の精度を落とすことになってしまうからである。また、背景領域のみが一様な明度分布となる、すなわち照度ムラの影響が除去されることによって、受精卵の品質評価などを目的とした様々な画像処理が容易になるからである。
【００４３】
図４に示す調整画像は、公知の技術によって、図１の元画像から、図３の背景画像を減算して色調反転を行い、所定の画素値レンジ（この例では、２５６階調）に基づいて正規化（画素値レンジを調整）したものである。
図４に示す調整画像は、観察対象領域である受精卵の明度分布の特徴が、元画像（図１）と異なるものとなっている。また、背景領域も一様な明度分布となっていない。
【００４４】
本発明の実施の形態では、前述の背景推定手法を改良することによって、照度ムラの影響が除去された背景画像を生成する。また、生成される背景画像を用いて、観察対象領域の明度分布が元画像とほぼ同じ特徴を有し、背景領域のみが一様な明度分布となる調整画像を生成する。
【００４５】
次に、図５から図１０を参照しながら、本発明の実施の形態に係る画像処理装置１について説明する。
【００４６】
図５は、画像処理装置１のハードウエア構成図である。尚、図５のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
【００４７】
画像処理装置１は、制御部１１、記憶部１２、メディア入出力部１３、通信制御部１４、入力部１５、表示部１６、周辺機器Ｉ／Ｆ部１７等が、バス１８を介して接続される。
【００４８】
制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
【００４９】
ＣＰＵは、記憶部１２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス１８を介して接続された各装置を駆動制御し、画像処理装置１が行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、コンピュータのブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部１２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部１１が各種処理を行う為に使用するワークエリアを備える。
【００５０】
記憶部１２は、ＨＤＤ（ハードディスクドライブ）であり、制御部１１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（オペレーティングシステム）等が格納される。プログラムに関しては、ＯＳ（オペレーティングシステム）に相当する制御プログラムや、後述する処理をコンピュータに実行させるためのアプリケーションプログラムが格納されている。
これらの各プログラムコードは、制御部１１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。
【００５１】
メディア入出力部１３（ドライブ装置）は、データの入出力を行い、例えば、ＣＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）、ＤＶＤドライブ（−ＲＯＭ、−Ｒ、−ＲＷ等）等のメディア入出力装置を有する。
通信制御部１４は、通信制御装置、通信ポート等を有し、コンピュータとネットワーク間の通信を媒介する通信インタフェースであり、ネットワークを介して、他のコンピュータ間との通信制御を行う。ネットワークは、有線、無線を問わない。
【００５２】
入力部１５は、データの入力を行い、例えば、キーボード、マウス等のポインティングデバイス、テンキー等の入力装置を有する。
入力部１５を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部１６は、ＣＲＴモニタ、液晶パネル等のディスプレイ装置、ディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。
【００５３】
周辺機器Ｉ／Ｆ（インタフェース）部１７は、コンピュータに周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部１７を介してコンピュータは周辺機器とのデータの送受信を行う。周辺機器としては、例えば、受精卵を撮像するための撮像装置等がある。周辺機器Ｉ／Ｆ部１７は、ＵＳＢやＩＥＥＥ１３９４やＲＳ−２３２Ｃ等で構成されており、通常複数の周辺機器Ｉ／Ｆを有する。周辺機器との接続形態は有線、無線を問わない。
バス１８は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００５４】
図６は、画像処理装置１による処理の流れを示す図である。以下では、図１、図７〜図１０も参照しながら、画像処理装置１の処理を説明する。
図６に示すように、画像処理装置１の制御部１１は、メディア入出力部１３、通信制御部１４、周辺機器Ｉ／Ｆ部１７等を介して、元画像を入力する（Ｓ１０１）。元画像は、図１に示す通りである。
【００５５】
次に、制御部１１は、近似多項式曲面の算出処理から除外する画素を抽出する（Ｓ１０２）。近似多項式曲面とは、元画像に係る擬似背景の明度分布の推定結果として得られる多項式曲面である。
具体的には、制御部１１は、元画像に含まれる画素の画素値に基づいて決定される閾値を用いて閾値処理を実行し、近似多項式曲面の算出処理から除外する画素を抽出する。
【００５６】
Ｓ１０２の技術的意義について説明する。背景領域の画素の画素値と大きく異なる画素値を有する画素は、近似多項式曲面の算出処理に悪影響を与える。受精卵画像であれば、脂肪小滴に相当する画素であり、図１では、背景領域よりも暗く写っている。
そこで、制御部１１は、例えば、近似多項式曲面の算出処理に悪影響を与える画素を閾値処理によって抽出する。
【００５７】
閾値は、例えば、元画像に係る背景領域に含まれる画素の画素値に基づいて決定されても良い。例えば、閾値は、背景領域に含まれる画素の最大値、最小値または平均値に所定値（０を含む。）を加減した値としても良い。
また、閾値は、例えば、元画像に係る観察対象領域に含まれる画素の画素値に基づいて決定されても良い。例えば、閾値は、観察対象領域に含まれる画素の最大値、最小値または平均値に所定値（０を含む。）を加減した値としても良い。
尚、ここでは、厳密に脂肪小滴に相当する画素を抽出する必要はない。ある程度の誤差を含んでいても、最終的に生成される背景画像や調整画像の精度に大きな影響を与えるものではない。
【００５８】
また、閾値処理によって、近似多項式曲面の算出処理から除外する画素を抽出するものとしたが、本発明は、これに限定されない。例えば、制御部１１は、傾きを持った平面や曲面などを利用して、近似多項式曲面の算出処理から除外する画素を抽出するようにしても良い。すなわち、制御部１１は、所定の平面や曲面によって、元画像に含まれる画素を、近似多項式曲面の算出処理に含める画素と、近似多項式曲面の算出処理から除外する画素とに分けるようにしても良い。
【００５９】
図７は、画像処理装置１によって実行される閾値処理の結果を示す図である。制御部１１は、図７に示すように、表示部１６に閾値処理の結果を表示するようにしても良い。
図７では、閾値処理によって抽出された画素を「白」、それ以外の画素を「黒」として図示している。すなわち、「白」の画素が、近似多項式曲面の算出処理から除外する画素である。
【００６０】
次に、制御部１１は、Ｓ１０２によって抽出される画素に基づいて、近似多項式曲面の算出処理における連立方程式を定式化する（Ｓ１０３）。
具体的には、制御部１１は、近似多項式曲面を算出する為の連立方程式を、Ｓ１０２によって抽出される画素に係る方程式の両辺を０として定めて、連立方程式Ｚ´ｃ＝ｐ´を定式化する。
【００６１】
Ｓ１０２の処理結果として得られる２値化画像（図７）をｇ＝（ｇ１、・・・、ｇｉ、・・・、ｇＮ）Ｔとする。また、閾値処理によって抽出された画素（図７の「白」）をｇｉ＝０とする。
このとき、ベクトルｐ´と、係数行列Ｚ´のｉ行目のベクトルの要素ｚｉは、次式によって与えられる。
【００６２】
【数５】
0005601133.tif 000006
【００６３】
式（５）〜（７）が連立方程式Ｚ´ｃ＝ｐ´に代入されることによって、Ｓ１０２によって抽出される画素に係る方程式の両辺が０と定まる。すなわち、連立方程式Ｚ´ｃ＝ｐ´は、近似多項式曲面の算出処理に悪影響を与える画素が除外されている。
【００６４】
尚、この処理によって、連立方程式Ｚ´ｃ＝ｐ´には意味がない方程式（０＝０という方程式）が含まれることになり、理論上は、連立方程式Ｚ´ｃ＝ｐ´が過剰定義系にならない場合も考え得る。しかしながら、実用上は、連立方程式Ｚ´ｃ＝ｐ´は、必ず過剰定義系となる。
例えば、Ｓ１０２によって抽出される画素数をＬ個とすると、連立方程式Ｚ´ｃ＝ｐ´は、未知の変数がＭ個であり、意味のある方程式の数が（Ｎ−Ｌ）個となる。図７を参照すれば分かるように、Ｓ１０２によって抽出される画素数は、多くても、全体の画素数の１／４程度である。仮に、Ｓ１０２によって抽出される画素数が、全体の画素数の９９／１００程度であったとしても、（Ｎ−Ｌ）＞全体の画素数（数十万個）×１／１００＝数千個が成り立つから、未知の変数（仮に、Ｋ＝１０としても、Ｍ＝６６）よりも、圧倒的に多いことには変わりがない。すなわち、実用上は、（Ｎ−Ｌ）≫Ｍが成り立ち、連立方程式Ｚ´ｃ＝ｐ´は、過剰定義系となる。
【００６５】
次に、制御部１１は、Ｓ１０２によって抽出される画素の位置を特定し、Ｓ１０２によって抽出される画素を除外して近似多項式曲面の算出処理を実行する（Ｓ１０４）。
具体的には、制御部１１は、Ｓ１０３によって定式化される連立方程式の解を算出し、近似多項式曲面を算出する。
制御部１１は、前述した式（３）、（４）において、Ｚ＝Ｚ´、ｐ＝ｐ´を代入することにより、本発明の実施の形態における連立方程式の解を算出し、近似多項式曲面を算出する。
【００６６】
次に、制御部１１は、Ｓ１０４によって算出される近似多項式曲面に基づいて、全体領域が元画像と同一の背景画像を生成する（Ｓ１０５）。制御部１１は、元画像における背景領域の画素だけでなく、元画像における観察対象領域の画素に対しても、Ｓ１０４によって算出される近似多項式曲面に基づく画素値を対応付けて、背景画像を生成する。
ここで、「全体領域が元画像と同一」とは、縦ピクセル数と横ピクセル数が元画像と同一という意味である。縦ピクセル数と横ピクセル数を合わせる意義は、ユーザが視覚的に確認し易いということと、後述する調整画像の生成処理が容易になるということである。
【００６７】
図８は、画像処理装置１によって生成される背景画像を示す図である。制御部１１は、図８に示すように、表示部１６に背景画像を表示するようにしても良い。
図２、図３、図８をそれぞれ比較すると、図３よりも、図８の方が、図２に示す所望の背景画像に近いことが分かる。特に、図８では、受精卵（観察対象領域）の位置に黒っぽい領域が存在せず、全体的に右から左に向かって、黒から白に滑らかなグラデーションが現れている。
【００６８】
次に、制御部１１は、Ｓ１０５によって生成される背景画像に基づいて、調整画像を生成する（Ｓ１０６）。
【００６９】
以下、調整画像生成処理について、２つの例を説明する。
最初に、調整画像生成処理の第１の例について説明する。
【００７０】
第１の例では、制御部１１は、公知の技術によって、図１の元画像から、図８の背景画像を減算して色調反転を行い、所定の画素値レンジ（この例では、２５６階調）に基づいて正規化（画素値レンジを調整）し、調整画像を生成する。調整画像は、例えば、最小値が０、最大値が２５５となるように、画素値レンジが調整されたものとなる。
【００７１】
図９は、画像処理装置１によって生成される第１の調整画像を示す図である。制御部１１は、図９に示すように、表示部１６に第１の調整画像を表示するようにしても良い。
第１の例では、背景領域が一様な明度分布となっていることが分かる。但し、第１の例では、観察対象領域である受精卵について、明るさにムラが生じていることが分かる。
【００７２】
次に、調整画像生成処理の第２の例について説明する。
第２の例では、制御部１１は、調整画像に係る背景領域の明度分布を調整する画素値である背景調整値を決定し、背景調整値に基づいて調整画像に係る背景領域のみが一様な明度分布となるように、調整画像を生成する。
【００７３】
背景調整値は、調整画像における背景色として望ましい色（画素値）を適宜決めれば良い。例えば、画素値レンジが２５６階調のグレースケール画像の場合、中間色である「１２７」を選択したり、受精卵の透明帯の部分（比較的明るい部分）とのコントラストを強調するために「１９０」を選択したり、Ｓ１０５において生成される背景画像の全画素の平均値などを選択したりすれば良い。
但し、「０」や「２５５」など画素値レンジの両端に近い値とすると、背景よりも明るい部分や暗い部分が、背景と同化してしまうことになり、あまり望ましくはない。
【００７４】
第２の例では、制御部１１は、背景調整値Ｓを、背景画像（多項式曲面ｂ）の各画素の画素値によって除した値、が各要素となるベクトルｓを算出する。ベクトルｓは、要素数Ｎである。ベクトルｓは、式に表すと以下のようになる。
【００７５】
【数６】
0005601133.tif 000007
【００７６】
ここで、後述する処理と比較する為、ベクトルｓと、元画像の各画素の画素値が各要素となる元画像ベクトルｐとの直積、であるベクトルｒを考える。ベクトルｒは、要素数Ｎである。ベクトルｒは、式に表すと以下のようになる。
【００７７】
【数７】
0005601133.tif 000008
【００７８】
ベクトルｒを用いて調整画像を生成すると、調整画像の背景領域が背景調整値Ｓに近い色となるが、観察対象領域（受精卵）の明度分布にはムラが生じる。そこで、制御部１１は、元画像（元画像ベクトルｐ）の各画素の画素値と背景画像（多項式曲面ｂ）の各画素の画素値との差の絶対値を、所定の画素値レンジＩｒａｎｇｅ（この例では、２５６階調）によって除した値、が各要素となるベクトルｄを算出する。ベクトルｄは、要素数Ｎである。ベクトルｄは、式に表すと以下のようになる。
【００７９】
【数８】
0005601133.tif 000009
【００８０】
次に、制御部１１は、ベクトルｓの各要素を、ベクトルｄの各要素によって重み付けした値、が各要素となるベクトルｔを算出する。ベクトルｔは、要素数Ｎである。ベクトルｔは、式に表すと以下のようになる。
【００８１】
【数９】
0005601133.tif 000010
【００８２】
次に、制御部１１は、ベクトルｔと、元画像の各画素の画素値が各要素となる元画像ベクトルｐとの直積、であるベクトルｕを算出する。ベクトルｕは、要素数Ｎである。ベクトルｕは、式に表すと以下のようになる。
【００８３】
【数１０】
0005601133.tif 000011
【００８４】
そして、制御部１１は、ベクトルｕの各要素を、所定の画素値レンジＩｒａｎｇｅに基づいて正規化することによって、調整画像の各画素の画素値を算出する。
例えば、制御部１１は、ベクトルｕの最小値ｕｍｉｎ、最大値ｕｍａｘを用いて、ベクトルｕの各要素を所定の画素値レンジＩｒａｎｇｅ全体に引き伸ばし、ベクトルｕ´を算出する。ベクトルｕ´は、要素数Ｎである。ベクトルｕ´は、式に表すと以下のようになる。
【００８５】
【数１１】
0005601133.tif 000012
【００８６】
調整画像は、例えば、ベクトルｕ´の最小値が０、最大値が２５５となるように、画素値レンジが調整されたものとなる。
【００８７】
更に、調整画像生成処理の第２の例では、背景調整値を、元画像の画素群から、Ｓ１０２によって抽出される画素を除いた画素群の平均値とする。このように背景調整値を決定すると、調整画像の背景色は、元画像の背景領域の全体的な色の印象に近い色となる。これによって、元画像と調整画像とを比較するときに、ユーザは、背景領域の違いにあまり影響されず、観察対象領域に違いがあるかどうかを確認することができる。
【００８８】
図１０は、画像処理装置１によって生成される第２の調整画像を示す図である。制御部１１は、図１０に示すように、表示部１６に第２の調整画像を表示するようにしても良い。
第２の例では、調整画像の背景領域の各画素が、背景調整値Ｓに近い値に変換され、背景領域が一様な明度分布となる。
更に、第２の例では、観察対象領域である受精卵について、明るさにムラが生じていないことが分かる。すなわち、第２の例によって生成される調整画像は、観察対象領域の明度分布が元画像とほぼ同じ特徴（例えば、濃淡のコントラスト）を有しており、かつ、背景領域のみが一様な明度分布となっており、最も望ましい画像となっている。
また、図１０に示す調整画像の背景色は、図１に示す元画像の背景領域の全体的な色の印象に近い色となっていることが分かる。
【００８９】
本発明の実施の形態に係る画像処理装置１は、照度ムラの影響が除去された背景画像を生成することができる。また、生成される背景画像を用いて、観察対象領域の明度分布が元画像とほぼ同じ特徴を有し、背景領域のみが一様な明度分布となる調整画像を生成することができる。
そして、画像処理装置１が、観察対象領域の元画像から自動的に調整画像を生成することによって、一定の時間間隔によって連続的に観察する場合であっても、全ての画像を標準化することができる。画像処理装置１によって標準化される画像は、照明装置の出力のブレに由来する照度ムラの影響が除去されている。従って、観察対象領域を正確に抽出するための様々な画像処理を行う際、パラメータの調整が容易になるとともに、異なる撮影時刻の画像や異なる受精卵を正確に比較することができる。
【００９０】
以上、添付図面を参照しながら、本発明に係る画像処理装置等の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９１】
１………画像処理装置
１１………制御部
１２………記憶部
１３………メディア入出力部
１４………通信制御部
１５………入力部
１６………表示部
１７………周辺機器Ｉ／Ｆ部
１８………バス
【図５】
0005601133.tif 000013
【図６】
0005601133.tif 000014
【図１】
0005601133.tif 000015
【図２】
0005601133.tif 000016
【図３】
0005601133.tif 000017
【図４】
0005601133.tif 000018
【図７】
0005601133.tif 000019
【図８】
0005601133.tif 000020
【図９】
0005601133.tif 000021
【図１０】
0005601133.tif 000022