(57)【要約】【課題】ウェルに液体とともに担持された撮像対象物を異なる焦点位置で撮像した画像から、歪みの少ない全焦点画像を作成する。【解決手段】本発明の画像処理方法は、液体とともにウェルに担持された撮像対象物を、液面と略垂直な方向から該方向の焦点位置を異ならせて撮像した複数の画像を取得する工程と、複数の画像間における局所移動量を求める工程と、局所移動量に基づき、ウェルの中心からの距離と画像歪み量との相関関係を求める工程と、複数の画像を、各画像内の画素を相関関係に基づき補正して合成し、全焦点画像を作成する工程とを備える。【選択図】図７
2020052119.tif 000002
【特許請求の範囲】
【請求項１】
液体とともにウェルに担持された撮像対象物を、液面と略垂直な方向から該方向の焦点位置を異ならせて撮像した複数の画像を取得する工程と、
前記複数の画像間における局所移動量を求める工程と、
前記局所移動量に基づき、前記ウェルの中心からの距離と画像歪み量との相関関係を求める工程と、
前記複数の画像を、各画像内の画素を前記相関関係に基づき補正して合成し、全焦点画像を作成する工程と
を備える画像処理方法。
【請求項２】
前記補正は、当該画素の画素値を有する画素を、当該画素の前記ウェルの中心からの距離と前記相関関係とにより特定される前記画像歪み量をキャンセルする位置に位置させるものである請求項１に記載の画像処理方法。
【請求項３】
前記補正は、当該画素の画素値を有する画素を、当該画素の前記ウェルの中心からの距離と前記相関関係とにより特定される前記画像歪み量に応じた距離だけ前記ウェルの中心側に位置させるものである請求項１に記載の画像処理方法。
【請求項４】
前記焦点位置を複数段階に変更設定して撮像を行うことにより前記複数の画像が取得され、
前記焦点位置が１段階異なる２つの前記画像の間で前記局所移動量が求められる請求項１ないし３のいずれかに記載の画像処理方法。
【請求項５】
前記ウェル内を複数の撮像視野に分割しそれぞれの前記撮像視野につき前記複数の画像を取得し、
一の前記撮像視野ごとに当該撮像視野に対応する前記全焦点画像を作成し、
前記複数の撮像視野それぞれに対応する前記全焦点画像を結合して前記ウェルの全体に対応する前記全焦点画像を作成する請求項１ないし４のいずれかに記載の画像処理方法。
【請求項６】
前記複数の画像を取得済みの前記撮像視野について前記全焦点画像を作成している間に、他の前記撮像視野について前記画像を取得する請求項５に記載の画像処理方法。
【請求項７】
前記距離を変数とする多項式により前記相関関係を表す請求項１ないし６のいずれかに記載の画像処理方法。
【請求項８】
前記ウェルの水平断面が円形である請求項１ないし７のいずれかに記載の画像処理方法。
【請求項９】
液体とともにウェルに担持された撮像対象物を、液面と略垂直な方向から該方向の焦点位置を異ならせて撮像し、複数の画像を取得する撮像部と、
前記複数の画像を合成して全焦点画像を作成する画像処理部と
を備え、
前記画像処理部は、
前記複数の画像間において求めた局所移動量に基づき、前記ウェルの中心からの距離と画像歪み量との相関関係を求め、前記複数の画像を、各画像内の画素を前記相関関係に基づき補正して合成する、画像処理装置。
【請求項１０】
前記撮像部は、前記ウェル内を複数の撮像視野に分割しそれぞれの前記撮像視野につき前記複数の画像を取得し、
前記画像処理部は、一の前記撮像視野ごとに当該撮像視野に対応する前記全焦点画像を作成し、
前記画像処理部が前記複数の画像を取得済みの前記撮像視野について前記全焦点画像を作成している間に、前記撮像部が他の前記撮像視野について前記画像を取得する、請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、ウェルに液体とともに担持された撮像対象物を異なる焦点位置で撮像した画像から全焦点画像を作成する画像処理技術に関するものである。
【背景技術】
【０００２】
細胞の培養および解析には、細胞を含む試料を撮像した画像が用いられることがある。試料は、ウェルプレートまたはマイクロプレート等と呼ばれる複数のウェル（凹部）が設けられた平板状の容器や、単一のウェルを有するディッシュと呼ばれる平皿状の容器を用いて作成される。撮像対象物である細胞はウェル内に培養液とともに保持される。このような細胞を含む試料を画像として記録する際、液中の種々の深さに細胞が分布することから、深さ方向の焦点位置を変えて複数回撮像を行い、得られた複数の画像を合成して全焦点画像を作成することが行われる。
【０００３】
例えば本願出願人が先に開示した特許文献１に記載の技術は、焦点位置を変えながら撮像された複数の画像から全焦点画像を作成する技術である。この技術は、培養液の液面のメニスカスによるレンズ効果により、焦点位置の変化に伴って画像の倍率が変化するという問題に対応するための構成を有している。すなわち、焦点位置の異なる画像間での細胞の大きさや位置から倍率変動量および平行移動量を求め、これに基づき画像を補正した上で合成することにより、全焦点画像が作成される。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−０１０１０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
液面のメニスカスによる画像の歪みは画像内で必ずしも一様に生じるものではない。具体的には、ウェルの中央部分で歪みは小さくても、周縁部に近づくにつれて歪みが急激に大きくなる。特に大径のウェルではその差が顕著である。この他、撮像光学系や照明に起因する歪みも画像に含まれることがあり、それらはウェル内で局所的に現れる場合がある。ウェル全体で一律の補正を施す方法では、このような画像の歪みに十分に対応することが困難な場合がある。
【０００６】
この発明は上記課題に鑑みなされたものであり、ウェルに液体とともに担持された撮像対象物を異なる焦点位置で撮像した画像から、歪みの少ない全焦点画像を作成する画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像処理方法の一の態様は、上記目的を達成するため、液体とともにウェルに担持された撮像対象物を、液面と略垂直な方向から該方向の焦点位置を異ならせて撮像した複数の画像を取得する工程と、前記複数の画像間における局所移動量を求める工程と、前記局所移動量に基づき、前記ウェルの中心からの距離と画像歪み量との相関関係を求める工程と、前記複数の画像を、各画像内の画素を前記相関関係に基づき補正して合成し、全焦点画像を作成する工程とを備えている。
【０００８】
また、この発明に係る画像処理装置の一の態様は、上記目的を達成するため、液体とともにウェルに担持された撮像対象物を、液面と略垂直な方向から該方向の焦点位置を異ならせて撮像し、複数の画像を取得する撮像部と、前記複数の画像を合成して全焦点画像を作成する画像処理部とを備え、前記画像処理部は、前記複数の画像間において求めた局所移動量に基づき、前記ウェルの中心からの距離と画像歪み量との相関関係を求め、前記複数の画像を、各画像内の画素を前記相関関係に基づき補正して合成する。
【０００９】
このように構成された発明では、互いに異なる焦点位置で撮像された画像の間で求められた局所移動量に基づき、ウェル中心からの距離と画像歪み量との相関関係が求められる。そして、画像の合成に際しては、求められた相関関係に基づき各画像内の画素が補正される。このため、各画素に対する補正はウェル中心からの距離に応じたものとなる。したがって、ウェル中心部から周縁部に向けて歪みの大きさが変化する場合でも、発生する歪み量に応じた補正が適用されることとなり、各部における補正を適正なものとすることが可能である。
【発明の効果】
【００１０】
上記のように、本発明によれば、処理対象画像内の各画素が、ウェル中心からの距離に応じて、しかも実際に撮像された画像間で検出された局所移動量に基づいて補正される。そのため、メニスカスやその他の原因によりウェル内に不均一に生じる歪みを適切に補正することができる。全焦点画像を作成する際にこのような補正が適用されることにより、画像品質の良好な全焦点画像を作成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明に使用されるウェルプレートの一例を示す図である。
【図２】本実施形態における撮像装置の概略構成を示す図である。
【図３】撮像における問題点について説明する図である。
【図４】変位を定量的に表す方法を説明する図である。
【図５】本実施形態の補正処理の原理を説明する図である。
【図６】本実施形態の撮像動作を示すフローチャートである。
【図７】本実施形態の画像処理を示すフローチャートである。
【図８】変位方向が動径方向と一致しない場合の局所移動量の求め方を示す図である。
【図９】複数の画像から全焦点画像を作成した例を示す図である。
【図１０】撮像動作の変形例を模式的に示す図である。
【図１１】撮像動作の変形例を示すフローチャートである。
【図１２】ウェル中心が画像内にない場合の歪み補正の原理を説明する図である。
【図１３】円形断面でないウェルの例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。
【００１３】
図１は本発明に使用されるウェルプレートの一例を示す図である。具体的には、図１（ａ）はウェルプレート９の上面図であり、図１（ｂ）はその斜視図である。ウェルプレート９は、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培地とともに撮像対象物となる複数の細胞を保持する。本実施形態では、上面視におけるウェル９１の形状は、円形として説明する。ただし、ウェル９１の形状は、矩形、角丸矩形等の他の形状であってもよい。ここで、各図における方向を統一的に示すために、図１に示すようにＸＹＺ直交座標系を設定する。例えばＸＹ平面を水平面、Ｚ軸を鉛直軸と考えることができる。以下においては（−Ｚ）方向を鉛直下向きとする。
【００１４】
図２は本実施形態における撮像装置の概略構成を示す図である。この撮像装置１は、ウェルプレート９の上面に形成されたウェル９１と称される凹部に担持された培地中で培養される細胞、細胞コロニー、細菌等（以下、「細胞等」と称し参照符号Ｃを付す）の生試料を撮像する装置である。なお、この撮像装置１が対象とするウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば６ないし３８４穴のものが一般的に使用されている。また、複数ウェルを有するウェルプレートに限らず、例えばディッシュと呼ばれる平型の容器で培養された細胞等の撮像にも、この撮像装置１を使用することが可能である。
【００１５】
ウェルプレート９の各ウェル９１には、培地Ｍとしての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞等Ｃが、この撮像装置１の撮像対象物となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェル９１に投入された後ゲル化するものであってもよい。この撮像装置１では、例えばウェル９１の内底面で培養された細胞等Ｃを撮像対象とすることができる。
【００１６】
撮像装置１は、ウェルプレート９を保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御するＣＰＵ１４１を有する制御部１４とを備えている。ホルダ１１は、試料を培地Ｍとともに各ウェル９１に担持するウェルプレート９の下面周縁部に当接してウェルプレート９を略水平姿勢に保持する。
【００１７】
照明部１２は、ホルダ１１により保持されたウェルプレート９に向けて照明光を出射する。照明光の光源としては、例えば白色ＬＥＤ（Light Emitting Diode）を用いることができる。光源と適宜の照明光学系とを組み合わせたものが、照明部１２として用いられる。照明部１２により、ウェルプレート９に設けられたウェル９１内の細胞等が上方から照明される。
【００１８】
ホルダ１１により保持されたウェルプレート９の下方に、撮像部１３が設けられる。撮像部１３には、ウェルプレート９の直下位置に図示を省略する撮像光学系が配置されており、撮像光学系の光軸は鉛直方向（Ｚ方向）に向けられている。図１は側面図であり、図の上下方向が鉛直方向を表す。
【００１９】
撮像部１３により、ウェル９内の細胞等が撮像される。具体的には、照明部１２から出射されウェル９の上方から液体に入射した光が撮像対象物を照明し、ウェル９底面から下方へ透過した光が、撮像部１３の対物レンズ１３１を含む撮像光学系を介して撮像素子１３２の受光面に入射する。撮像光学系により撮像素子１３２の受光面に結像する撮像対象物の像が、撮像素子１３２により撮像される。撮像素子１３２は二次元の受光面を有するエリアイメージセンサであり、例えばＣＣＤセンサまたはＣＭＯＳセンサを用いることができる。
【００２０】
撮像部１３は、制御部１４に設けられたメカ制御部１４６により水平方向（ＸＹ方向）および鉛直方向（Ｚ方向）に移動可能となっている。具体的には、メカ制御部１４６がＣＰＵ１４１からの制御指令に基づき駆動機構１５を作動させ、撮像部１３を水平方向に移動させることにより、撮像部１３がウェル９１に対し水平方向に移動する。また鉛直方向への移動によりフォーカス調整がなされる。撮像視野内に１つのウェル９１の全体が収められた状態で撮像されるときには、メカ制御部１４６は、光軸が当該ウェル９１の中心と一致するように、撮像部１３を水平方向に位置決めする。
【００２１】
また、駆動機構１５は、撮像部１３を水平方向に移動させる際、図において点線矢印で示すように照明部１２を撮像部１３と一体的に移動させる。すなわち、照明部１２は、その光中心が撮像部１３の光軸と略一致するように配置されており、撮像部１３が水平方向に移動するとき、これと連動して移動する。これにより、どのウェル９１が撮像される場合でも、当該ウェル９１の中心および照明部１２の光中心が常に撮像部１３の光軸上に位置することとなり、各ウェル９１に対する照明条件を一定にして、撮像条件を良好に維持することができる。
【００２２】
撮像部１３の撮像素子１３２から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４３に入力されてデジタル画像データに変換される。ＣＰＵ１４１は、受信した画像データに基づき適宜画像処理を実行する画像処理部として機能する。制御部１４はさらに、画像データを記憶保存するための画像メモリ１４４と、ＣＰＵ１４１が実行すべきプログラムやＣＰＵ１４１により生成されるデータを記憶保存するためのメモリ１４５とを有しているが、これらは一体のものであってもよい。ＣＰＵ１４１は、メモリ１４５に記憶された制御プログラムを実行することにより、後述する各種の演算処理を行う。
【００２３】
その他に、制御部１４には、インターフェース（ＩＦ）部１４２が設けられている。インターフェース部１４２は、ユーザからの操作入力の受け付けや、ユーザへの処理結果等の情報提示を行うユーザインターフェース機能のほか、通信回線を介して接続された外部装置との間でのデータ交換を行う機能を有する。ユーザインターフェース機能を実現するために、インターフェース部１４２には、ユーザからの操作入力を受け付ける入力受付部１４７と、ユーザへのメッセージや処理結果などを表示出力する表示部１４８とが接続されている。
【００２４】
なお、制御部１４は、上記したハードウェアを備えた専用装置であってもよく、またパーソナルコンピュータやワークステーション等の汎用処理装置に、後述する処理機能を実現するための制御プログラムを組み込んだものであってもよい。すなわち、この撮像装置１の制御部１４として、汎用のコンピュータ装置を利用することが可能である。汎用処理装置を用いる場合、撮像装置１には、撮像部１３等の各部を動作させるために必要最小限の制御機能が備わっていれば足りる。
【００２５】
図３は撮像における問題点について説明する図である。より具体的には、図３は培地Ｍを担持した状態のウェル９１の側面断面を示している。同図に示すように、ウェル９１の側壁面９２は、円筒面、または上部から底部に向けて断面積が漸減するテーパー形状となっている。ウェル９１には培地Ｍが注入され、その内部に細胞コロニーＣ１，Ｃ２が担持されている。細胞コロニーＣ１，Ｃ２は培地Ｍの液面からウェル底面９３までの間の任意の深さに存在し得るが、ここでは細胞コロニーＣ１が、水平方向においてはウェル中心Ｃｗに近く、鉛直方向においては液面に近い上部にあるとする。また、細胞コロニーＣ２はよりウェル側壁面９２およびウェル底面９３に近い位置にあるとする。
【００２６】
ウェル９１に注入されている培地Ｍがウェル側壁面９２と接触する部分では、メニスカスによる液面の盛り上がりが生じる。すなわち、培地Ｍの液面はウェル中央部でほぼ水平であるが、ウェル側壁面９２に近づくにつれて上昇し下に凸の曲面をなしている。したがって、照明部１２から液面に向けて光Ｌが入射すると液面での屈折によりその進路が曲げられる。より詳しくは、ウェル底面９３の中心（ウェル中心）Ｃｗ付近に入射する光はほぼ直進するが、より外側へ入射する光はウェル中心Ｃｗから外側へ向かう方向へ曲げられる。すなわち、液面が凹レンズとして作用する。
【００２７】
ここで、撮像部１３の対物レンズ１３１を点線で示す各位置ａ〜ｅに位置決めして撮像を行った場合を考える。対物レンズ１３１が最も上方、つまりウェル底面９３に近い位置ａに位置決めされたとき、対物レンズ１３１の光軸方向（Ｚ方向）における焦点位置も最も上方となる。この状態で撮像される画像Ｉａは、液面に近い位置にある細胞コロニーＣ１の像を含む。対物レンズ１３１を位置ｂまで遠ざけ、焦点位置を１段階下方へ移動させると、画像Ｉｂとして示すように、細胞コロニーＣ１の像は最も鮮明となる。対物レンズ１３１をさらに遠ざけ、位置ｃ〜ｅに順次位置決めして撮像を行うと、細胞コロニーＣ１は次第に焦点位置から遠ざかり、画像Ｉｃ〜Ｉｅとして示すように、像は次第に不鮮明となってゆく。
【００２８】
一方、より深い位置にある細胞コロニーＣ２は、焦点位置が最も上方に設定される画像Ｉａにはほとんど現れず、より深い位置ｄで撮像される画像Ｉｄにおいて最も鮮明となる。これより浅い位置および深い位置で撮像された画像では、細胞コロニーＣ２は焦点位置から遠ざかるにつれて次第に不鮮明となる。
【００２９】
このとき、メニスカスのレンズ作用により図に破線で示すように光Ｌは下方ほど広がるから、焦点位置が下方に移動するにつれて、細胞コロニーＣ１，Ｃ２の像は、単にその鮮明さが変化するだけでなく、ウェル中心Ｃｗから離れる方向に変位してゆく。ウェル中心Ｃｗに近い細胞コロニーＣ１の像では変位量は比較的小さいが、ウェル中心Ｃｗからより離れた細胞コロニーＣ２の像ではより変位が大きい。これらの画像をそのまま用いて合成し全焦点画像Ｉｓを作成すると、細胞コロニーＣ１，Ｃ２の周囲にゴースト状の影や画像の歪みを生じ、画像品質の点で好ましくない。
【００３０】
後述する本実施形態の画像処理では、この問題を解消するための補正処理が実行される。以下では補正処理を含む本実施形態の画像処理の具体的内容について説明する。まず、図４および図５を参照して補正処理の原理について説明する。
【００３１】
図４は変位を定量的に表す方法を説明する図である。図４（ａ）は焦点位置の変化に伴う画像オブジェクトの変位を模式的に示す図であり、より具体的には撮像時の焦点位置が互いに異なる３つの画像を仮想的に重ね合わせたときのウェル９１の画像の例を示す。図４（ａ）において実線で示されるオブジェクトＯＢ１〜ＯＢ５は、焦点位置を比較的上方に設定して撮像されたときの位置を示し、点線は焦点位置をより下方に設定して撮像されたときの位置を、破線は焦点位置をさらに下方に設定して撮像されたときの位置を示す。
【００３２】
メニスカスのレンズ効果によれば、図４（ａ）に示すように、焦点位置を低下させることでオブジェクトＯＢ１〜ＯＢ５は概ねウェル中心Ｃｗから遠ざかる方向に変位する。そして、その変位量は、ウェル中心Ｃｗに近い位置にあるオブジェクトでは比較的小さく、より遠い位置にあるオブジェクトほど大きい。図ではウェル中心Ｃｗに近い順に、各オブジェクトに符号ＯＢ１，ＯＢ２，…を付している。
【００３３】
各オブジェクトの変位を動きベクトルにより表したのが図４（ｂ）である。ここに、実線矢印は焦点位置が最も上方の第１の位置にある画像とこれに次ぐ第２の位置にある画像との間における各オブジェクトの動きを示し、点線矢印は焦点位置が第２の位置にある画像と最も下方の第３の位置にある画像との間におけるオブジェクトの動きを示している。この図は画像の歪みを定量的に示したものとなっている。言い換えれば、画像内の各位置における歪みの大きさおよび方向が動きベクトルにより表される。各動きベクトルは概ねウェル中心Ｃｗから外向きであり、その大きさはウェル中心Ｃｗから遠いほど大きい。
【００３４】
メニスカス起因の画像歪みでは、変位の方向はウェル中心Ｃｗを原点としたときの当該画素の動径方向、つまりウェル中心Ｃｗと当該画素とを結ぶ直線に沿ってウェル中心Ｃｗから遠ざかる方向と仮定することができる。また、画素の変位の大きさは、ウェル中心Ｃｗからの距離が同等であれば画像内での位置によらず概ね同等と仮定することができる。このように考えると、上記した動きベクトルについてはその方向を考慮する必要がなくなり、その大きさを表すスカラー量だけでも変位を表現することができる。
【００３５】
例えばオブジェクトの重心など画像内での特徴的な部位に対応する画素に着目し、図４（ｃ）に示すように、ウェル中心Ｃｗからの画素の距離Ｄを横軸に、当該画素の変位の大きさ（変位量）Ｌを縦軸にプロットすると、距離Ｄの増大に伴って変位量Ｌも増大するような関係が得られる。図４（ｃ）の各プロットのうち実線丸印は焦点位置が第１の位置である画像と第２の位置である画像との間における変位量の例を、点線丸印は焦点位置が第２の位置である画像と第３の位置である画像との間における変位量の例を模式的に表している。これらのプロットにより表される距離Ｄと変位量Ｌとの関係は、画像内の各位置にある画素について、当該位置のウェル中心Ｃｗからの距離Ｄと画像の歪み量との相関関係を表すものとなっている。
【００３６】
この相関関係は適宜の多項式Ｌ＝ｆ（Ｄ）によって近似することが可能である。言い換えれば、このような近似曲線を特定すれば、画像内の各画素がどれだけ変位しているかを見積もることが可能であり、その変位分を打ち消すように各画素を移動させれば歪みを補正することができる。変位量Ｌについては例えば画像中の特徴点の局所移動量として求めることができる。また、画像をメッシュ状に分割し、分割された各領域の画像間での相対移動量として局所移動量を求めることも可能である。
【００３７】
図５は本実施形態の補正処理の原理を説明する図である。ある焦点位置で撮像された画像Ｉｏａと、これより１段階下方の焦点位置で撮像された画像Ｉｏｂとの間で相互に対応する画素を考える。画像Ｉｏａ上の点Ｐ１ａと対応する画像Ｉｏｂ上の点Ｐ１ｂは、メニスカスに起因する画像の歪みにより、画像において距離Ｌ１だけウェル中心Ｃｗから遠ざかった位置に現れる。また、画像Ｉｏａ上の点Ｐ２ａと対応する画像Ｉｏｂ上の点Ｐ２ｂは、画像において距離Ｌ２だけウェル中心Ｃｗから遠ざかった位置に現れる。画像Ｉｏａと画像Ｉｏｂとを歪みの影響を考慮せずそのまま合成した場合、それぞれの画像が含む変位に起因して、同一であるオブジェクトの像が異なる位置に現れ、この位置ずれが合成画像の品質を低下させる。
【００３８】
画像Ｉｏａと画像Ｉｏｂとを合成して全焦点画像を作成する場合、対応する位置にある画素同士の比較に基づき全焦点画像内の各画素が決定される。具体的には、比較される画素のうちより撮像対象物に対して合焦状態に近く鮮明な画素の情報が、全焦点画像内の画素により強く反映されることになる。このとき、画像Ｉｏａと画像Ｉｏｂとの間では、上記の理由から、点Ｐ１ａの位置にある画素と点Ｐ１ｂの位置にある画素とが相互に対応する画素として扱われる必要がある。同様に、点Ｐ２ａの位置にある画素と点Ｐ２ｂの位置にある画素とが相互に対応する画素として扱われる必要がある。
【００３９】
これを可能とするためには、画像Ｉｏｂ上の点Ｐ１ｂについては、画像Ｉｏｂ上でウェル中心Ｃｗに近づく方向へ距離Ｌ１だけ移動させた状態で画像Ｉｏａ上の点Ｐ１ａと対比するようにすればよい。また、点Ｐ２ｂについては、画像Ｉｏｂ上でウェル中心Ｃｗに近づく方向へ距離Ｌ２だけ移動させた状態で画像Ｉｏａ上の点Ｐ２ａと対比するようにすればよい。このように、ウェル中心Ｃｗからの距離Ｄの関数として表される変位量Ｌは、画像Ｉｏｂを画像Ｉｏａと対応させるために必要な画像Ｉｏｂの各画素の位置の補正量を表している。
【００４０】
このように、撮像時の焦点位置の異なる２つの画像を合成して全焦点画像を作成するのに際して、画像間で求められた局所移動量により特定されるウェル中心Ｃｗからの距離Ｄとその位置における画素の変位量Ｌとの相関関係に基づき画像の歪みが補正される。焦点位置の異なる３以上の画像がある場合でも、焦点位置が１段階だけ異なる２つの画像間での画素の対応関係が明らかになれば、全ての画像間で相互に対応する画素を特定することができる。そして、それらの画素の情報から全焦点画像の画素を決定することにより、メニスカスに起因する画像の歪みによる画質の劣化が全焦点画像に生じるのを回避することができる。仮に個々の画像にこの補正を適用すれば、それぞれの画像においてメニスカスの影響によるオブジェクトの形状変化や位置ずれが解消された画像を得ることが可能である。
【００４１】
以下、この実施形態に係る撮像装置１の動作について説明する。この撮像装置１は、図６に示す撮像動作と、図７に示す画像処理動作とを実行する。これらの動作は、制御部１４に設けられたＣＰＵ１４１が、予め実装された制御プログラムを実行し装置各部に所定の動作を行わせることにより実現される。
【００４２】
図６は本実施形態の撮像動作を示すフローチャートである。最初に、駆動機構１５が撮像部１３を駆動して、撮像対象となるウェル９１が視野に収めるように撮像部１３の水平位置を設定するとともに、対物レンズ１３１の焦点位置が所定の初期位置となるように鉛直方向の位置決めを行う（ステップＳ１０１）。この状態でウェル９１の撮像が行われる（ステップＳ１０２）。次に設定すべき焦点位置がある場合には（ステップＳ１０３においてＹＥＳ）、ステップＳ１０１に戻り、撮像部１３を新たな焦点位置に位置決めした上で撮像を行う。各焦点位置での撮像が終了する（ステップＳ１０３においてＮｏ）まで上記を繰り返すことにより、撮像部１３の光軸方向に焦点位置を多段階に異ならせた複数の画像が取得される。なお、１段階当たりの焦点位置の変更ピッチは一定とする。
【００４３】
図７は本実施形態の画像処理を示すフローチャートである。この画像処理は、上記のようにして撮像された複数の画像を合成して全焦点画像を作成する処理である。最初に、互いの焦点位置が１段階異なる２つの画像を選出し（ステップＳ２０１）、これらの画像間で相互に対応する少なくとも１箇所、より好ましくは複数箇所につき、相対的な局所移動量を求める（ステップＳ２０２）。局所移動量の算出のためのアルゴリズムないし関数は汎用の画像処理ソフトでも標準的に実装される周知のものであり（例えばオプティカルフロー法）、本実施形態においてもそれを利用することが可能である。したがってここでは詳しい説明を省略する。焦点位置が互いに１段階異なる画像の組み合わせの全てについてこれを実行する（ステップＳ２０３）。
【００４４】
焦点位置が１段階だけ異なる画像間で局所移動量を求めるので、試料中の同一オブジェクトが両画像に共に現れる確率が比較的高い。このため、画像間で対応する箇所が多く存在することとなるので、局所移動量のサンプル数を多くすることができる。このことは多項式近似の精度向上に寄与する。
【００４５】
なお画像に現れるオブジェクトの変位の方向は、ウェル中心Ｃｗを原点とする動径方向とはならない場合がある。メニスカス以外の歪み要因、例えば撮像光学系が有する歪みや照明ムラ、培地Ｍの液面のムラ等が含まれる場合には、オブジェクトが動径方向からずれることがある。この場合、スカラー量としての局所移動量を求める方法としては２通り考えられる。
【００４６】
図８は変位方向が動径方向と一致しない場合の局所移動量の求め方を示す図である。ウェル中心Ｃｗから距離Ｄの位置に、動きベクトルＶｍにより変位が表されるオブジェクトがあるとする。このとき、動きベクトルＶｍが動径方向に対してなす角θは必ずしも０ではない。本願発明者の知見では、この角θが極端に大きいものでない限り、動きベクトルＶｍの大きさＭをそのまま局所移動量の大きさとしても、また動きベクトルＶｍの動径方向成分の大きさＭｃｏｓθを局所移動量の大きさとしても、歪み補正効果に大きな差異はない。上記の方法ではウェル中心Ｃｗ回りの種々の方位角に検出される多数の特徴点の局所移動量を用いることで方向のばらつきが相殺されることがその一因と考えられる。
【００４７】
また、撮像中に細胞自体が移動することにより、不規則な変位が検出されることもあり得る。このような変位は誤差要因となるため、処理から除外されることが望ましい。例えば上記角θについて上限値（例えば４５°、９０°など）を設けておき、これを超える変位については計算から除外するようにしてもよい。また、ウェル９１の輪郭よりも外側で検出された変位についても計算から除外されることが好ましい。
【００４８】
図７に戻って、各画像から抽出された複数の箇所について、ウェル中心Ｃｗからの距離Ｄと変位量Ｌとの組を収集することで、これらの相関関係を表す近似多項式が導出される（ステップＳ２０６）。多項式の特定には例えば周知の最小二乗法を適用することができる。なお、多項式の特定に適用されるウェル中心Ｃｗからの距離Ｄと変位量Ｌとの組は、それらがどの２つの画像間で求められたものであるかについては区別しない。すなわち、全ての組から１つの多項式が求められる。こうして求められたウェル中心Ｃｗからの距離Ｄと変位量Ｌとの関係は、焦点位置が１段階異なる２つの画像間における相対的な画像の歪み量の大きさを、ウェル中心Ｃｗからの距離Ｄの関数として表したものとなる。
【００４９】
続いて、求められた相関関係に基づく補正と画像合成とにより全焦点画像が作成される（ステップＳ２０５）。補正の原理は上記した通りであるが、画像合成の際の画素間の比較において画像歪みが補正されていればよく、必ずしも各画像について補正後の画像が作成されることを要しない。すなわち、画像合成の具体的態様としては、個々の画像を補正した上で合成するという方法、画像間で対応する画素を見出す際に補正が適用される方法のいずれであってもよい。
【００５０】
なお、全焦点画像の作成方法は特に限定されないが、単なる重畳ではなく、例えば鮮明な像ほど大きな重みを与えた重み付け加算により画像が合成されることが望ましい。例えば本願出願人が先に開示した特開２０１８−０４２００６号公報、特開２０１８−０４６４７５号公報等に記載された全焦点画像合成方法は、この目的に好適に適用可能なものである。
【００５１】
このとき、メニスカスに起因する画像歪みが補正されることで、画像間でのオブジェクトの変形や位置ずれは解消されている。このため、位置ずれに起因して合成画像に生じるゴースト状の影や画像の歪みを抑えて、画像品質の優れた全焦点画像を作成することが可能である。
【００５２】
作成された画像については適宜の態様で出力される（ステップＳ２０６）。例えば作成された画像が表示部１４８に表示出力される態様でもよく、また外部の表示装置や印刷装置に出力されてもよい。また、作成された画像に対応する画像データが外部装置に送信され、または外部記憶媒体に書き込まれる態様であってもよい。
【００５３】
図９は複数の画像から全焦点画像を作成した例を示す図である。図９（ａ）欄は歪み補正を行わずに画像を合成した例、図９（ｂ）欄は歪み補正を行って画像を合成した例を示している。図９（ａ）欄に示す画像では細胞コロニーに対応するオブジェクトの周囲、特に画像において上下方向に、ゴースト状または影のような不鮮明な像が現れており、これらは画像歪みに起因する画像間でのオブジェクトの位置ずれによって生じたものである。一方、図９（ｂ）欄に示す画像ではこのような不鮮明な像はなく、鮮明な細胞コロニーの像のみが得られている。このことから、本実施形態の画像処理が、焦点位置の違いにより生じる画像歪みが全焦点画像の画像品質を低下させるのを抑制する効果があることがわかる。
【００５４】
上記では、１回の撮像で１つのウェル９１全体がカバーされるとの前提で説明を行ってきた。しかしながら、ウェル９１が大径である場合や、撮像倍率を高くした場合など、１回の撮像でウェル９１全体をカバーすることができない場合もあり得る。このような場合、ウェル９１全体を複数の撮像視野に分割して撮像し、それらの撮像で得られた画像をつなぎ合わせること（タイリング）によりウェル９１全体の大きな画像を作成することも行われる。上記した画像処理は、このような場合にも有効に機能するものである。ただし、以下に説明するように、撮像動作については改変が必要である。
【００５５】
図１０は撮像動作の変形例を模式的に示す図であり、図１１はその動作を示すフローチャートである。図１０に点線のマス目で示すように、撮像視野がウェル９１の平面サイズよりも小さい条件下でウェル９１全体を撮像するためには、ウェル９１が複数の撮像領域（この例では３×３ブロック）に分割され、それぞれの撮像領域が個別に撮像される。図１１では各ブロックの撮像領域を区別するためにそれぞれ固有の符号（１）〜（９）を付している。
【００５６】
これらの各ブロックの撮像は例えば次のような手順で行うことができる。最初に、ブロック（１）、（２）、（３）につき焦点位置を変えた複数回の撮像を行い、次にブロック（４）、（５）、（６）につき焦点位置を変えた複数回の撮像を行う。最後に、ブロック（７）、（８）、（９）につき焦点位置を変えた複数回の撮像を行う。図では単純に点線で撮像領域を分割しているが、実際には、画像の欠落を防止するために、隣り合う撮像領域間では端部が少しずつオーバーラップするように撮像領域が設定される。こうして個別に撮像された各撮像領域の画像をつなぎ合わせることにより、ウェル９１全体に対応する画像を取得することができる。
【００５７】
この場合の撮像動作は次の通りとなる。すなわち、図１１に示すように、まず駆動機構１５により撮像部１３のＹ方向位置が所定のＹ方向位置に設定される（ステップＳ３０１）。より具体的には、撮像部１３は、ブロック（１）〜（３）を撮像するためのＹ方向位置に位置決めされる。また、焦点位置は初期位置に設定される。この状態で、駆動機構１５により撮像部１３がＸ方向にスキャン移動され（ステップＳ３０３）、撮像部１３が複数回の撮像を実行することで、ブロック（１）〜（３）の画像が取得される。焦点位置を変えながら上記を繰り返すことで（ステップＳ３０４においてＹＥＳ）、ブロック（１）〜（３）のそれぞれにつき焦点位置の異なる複数の画像が取得される。
【００５８】
全ての焦点位置について撮像が終了すると（ステップＳ３０４においてＮＯ）、さらにＹ方向において次の撮像位置があれば（ステップＳ３０５においてＹＥＳ）、ステップＳ３０１〜Ｓ３０４の処理が繰り返される。これにより、ブロック（４）〜（６）、ブロック（７）〜（９）のそれぞれについても、焦点位置の異なる複数の画像が取得される。
【００５９】
この場合における画像処理動作の内容は基本的に図７のものと同じである。ただし、水平方向の撮像位置が異なる複数の画像を最終的につなぎ合わせる必要があり、これと全焦点画像を作成するための画像合成との組み合わせに関しては２つの考え方がある。第１には、同じ焦点位置で撮像された複数の画像をつなぎ合わせて１つの画像とし、焦点位置ごとにつなぎ合わされた画像の間で画像合成を行い全焦点画像を作成するというという方法である。第２には、同一の撮像位置で焦点位置を変えて撮像された画像間でまず全焦点画像を作成し、作成された全焦点画像を水平方向につなぎ合わせるという方法である。
【００６０】
第１の方法は、未加工の画像同士をつなぎ合わせるため、つなぎ合わせ後の画像の連続性に優れ、画像品質の安定性の点で有利である。その一方で、つなぎ合わせた画像のデータサイズが大きくなり、後の演算やデータ保存において大きなメモリ資源を消費するという問題がある。
【００６１】
一方、第２の方法は、個別に作成された全焦点画像同士をつなぎ合わせるためその連続性においては不利であるが、データサイズはより小さく、演算負荷およびメモリ資源の消費を低減するという点においては有利である。また、第１の方法に比べ、処理時間を短縮するという点でも有利である。というのは、第１の方法ではブロック（１）〜（９）の全てにつき各焦点位置での撮像が完了した後に全焦点画像を作成するための処理が可能になるのに対し、第２の方法では、ブロック（１）〜（３）についての撮像終了後、ブロック（４）〜（６）の撮像中に、これと併行してブロック（１）〜（３）に対する全焦点画像の作成処理が実行可能となるからである。同様に、ブロック（７）〜（９）の撮像中に、ブロック（４）〜（６）に対する全焦点画像の作成処理が実行可能である。これにより、撮像の開始から全焦点画像が作成されるまでの処理時間が短縮される。
【００６２】
なお、第２の方法による全焦点画像の作成処理では、ウェル９１の一部を撮像した画像が処理対象となるため、ウェル中心Ｃｗが画像内に含まれていない場合がある。このような場合でも、歪み補正は画像外に仮想的に規定されるウェル中心Ｃｗの位置に基づいて実行される。
【００６３】
図１２はウェル中心が画像内に含まれない場合の歪み補正の原理を説明する図である。ブロック（１）ないし（９）を撮像した画像のいずれかを処理対象の画像Ｉｐとする場合において、１つのオブジェクトＯＢ６につき動きベクトルＶｍ６が、他の１つのオブジェクトＯＢ７につき動きベクトルＶｍ７が認識されたとする。このとき、オブジェクトＯＢ６の変位量は、画像外に仮想的に設定されるウェル中心Ｃｗからの距離Ｄ６と関連付けられる。そして、オブジェクトＯＢ６に対する補正も、ウェル中心Ｃｗへ向かう方向に沿ってなされる。オブジェクトＯＢ７についても同様であり、変位量は画像外のウェル中心Ｃｗからの距離Ｄ７と関連付けられ、その補正はウェル中心Ｃｗへ向かう方向に沿ってなされる。画像Ｉｐから見たウェル中心Ｃｗの位置については、撮像時のウェル９１と撮像部１３との水平方向における機械的な相対位置関係から求めることが可能である。
【００６４】
このように１つの撮像位置ごとに個別に歪み補正を実行することで、第１の方法では得られない次のような利点も生じる。本実施形態の歪み補正は、主としてメニスカス起因の画像歪みを補正することを想定したものであり、ウェル中心Ｃｗ回りの回転方向に対しては歪みが等方的に現れるものと仮定している。しかしながら、実際の画像には撮像光学系の歪みや照明、液面の乱れに起因する歪みも局所的に加わっており、等方性の仮定に基づく補正ではこのような局所的な歪みについては補正の精度に限界がある。画像をつなぎ合わせてから補正する第１の方法では、画像全体に対し１つの補正ルールが適用されるため、この限界を超えることはできない。
【００６５】
これに対し、各撮像領域で個別に補正を行う第２の方法では、各撮像領域に対し個別の補正ルールが導出されて適用される。すなわち、ウェル中心Ｃｗからの距離Ｄと変位量Ｌとの相関関係は撮像領域ごとに独立に求められる。このため、局所的な歪みを含む撮像領域についてはその歪みによる変位を反映した補正ルールで補正がなされる一方、局所的な歪みを含まない撮像領域については、他の撮像領域に含まれる局所的な歪みの影響を受けない補正が行われる。したがって、個々の撮像領域内については第１の方法よりも優れた精度での補正が可能となり、結果的にウェル９１全体についての歪み補正に関してその品質を向上させることが可能となる。
【００６６】
図１３は円形断面でないウェルの例を示す図である。細胞培養のウェルを設けた容器としては、上記のような円形断面のウェル９１を有するものの他に、図１３に示すように角丸矩形、つまり正方形の頂点部分を丸めた形状の断面を有するものも広く使用されている。このようなウェル９９の画像に対し本実施形態の画像処理を適用する場合、ウェル９９の中心Ｃａから周縁部Ｐａまでの距離が一定でないため、メニスカスに起因する歪みの大きさもウェル中心Ｃａからの距離に対し一様とはならない。このため、ウェル中心Ｃａからの距離と変位量との相関関係を一義的に求めることが難しくなる。
【００６７】
このような場合、図１３に点線で示すようにウェル９９を複数の撮像領域に分割して撮像し、撮像領域ごとに歪み補正を実行するようにすればよい。このようにすれば、個々の撮像領域内では、粗い近似ではあるもののウェル９９の周縁部を円弧の一部とみなすことができる。そのため、ウェル全体を１つの撮像領域とする場合よりも、上記した歪み補正の精度を向上させることが可能となる。
【００６８】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、撮像光学系がテレセントリック光学系であることが想定されており、焦点位置の変化による画像倍率の変化はないものとされている。一方で、非セントリック光学系が使用される場合には、焦点位置の変化に伴って画像の倍率も変化する。この場合、焦点位置の変化による倍率の変化量は予めわかっているはずであるから、焦点位置の異なる画像間での演算に先立って倍率補正が実行されることが望ましい。
【００６９】
また、ウェルを複数の撮像領域に分割して撮像する場合において、機械的構造に起因して撮像位置による画像倍率の変動がある場合には、これを補正するための処理が本実施形態の歪み補正前に別途実行されてもよい。
【００７０】
また、上記実施形態では、焦点位置の変更設定における１段階当たりの変化量を一定としている。このため、焦点位置が最も近い画像間で求められる局所移動量のスケールも、どの画像間においても同じである。一方で、焦点位置の変化量が一定でない場合には、求められる局所変動量の大きさについては焦点位置の変化量によって正規化することが望ましい。
【００７１】
また、上記実施形態では撮像された画像そのものに対し局所移動量の算出が行われる。しかしながら、例えば画像内に多くのオブジェクトが含まれる場合のように、ウェル中心からの距離と変位量との相関関係を算出するに当たり精度に影響が出なければ、画像を適宜圧縮した上で局所移動量が求められてもよい。こうすることで演算量を減らし処理を高速化することができる。また、画像に対し適宜のフィルタ処理によって平滑化がなされてもよい。
【００７２】
また、上記実施形態の説明は、ウェル内の液面に生じるメニスカスが下に凸の形状を有し凹レンズとして作用することを前提とするものである。しかしながら、特別な用途のために内壁面が撥水面となったウェルも用いられており、本発明はこのようなウェルを用いて作成された試料の撮像にも有効である。この場合、ウェル内で液面は上に凸となり、凸レンズとして作用することになる。そのため、画像内の各オブジェクトはウェル中心側に向けて歪むことになる。
【００７３】
このような場合でも、上記実施形態と同様にして求められるウェル中心からの距離と歪み量との関係に基づき、画像の各画素をウェル中心から遠ざかる方向に補正することで、メニスカスのレンズ効果による歪みの影響を排除することができる。そして、このような歪み補正を伴う画像合成を行うことにより、上記実施例と同様に、画質の良好な全焦点画像を得ることが可能である。
【００７４】
以上、具体的な実施形態を例示して説明してきたように、本発明における補正は、当該画素の画素値を有する画素を、当該画素のウェルの中心からの距離と相関関係とにより特定される画像歪み量をキャンセルする位置に位置させるものとすることができる。また、補正は、当該画素の画素値を有する画素を、当該画素のウェルの中心からの距離と相関関係とにより特定される画像歪み量に応じた距離だけウェルの中心側に位置させるものとすることができる。このような構成によれば、画像の歪みによる変位を相殺するように画素を移動させるのと等価の補正となるので、歪みを精度よく補正することができる。
【００７５】
また、焦点位置を複数段階に変更設定して撮像を行うことにより複数の画像が取得され、焦点位置が１段階異なる２つの画像の間で局所移動量が求められるようにすることができる。このような構成によれば、焦点位置の差の小さい２つの画像に同一のオブジェクトが共通して現れる確率が高いため、両画像間で多くの対応箇所を見出すことができ、局所移動量のサンプルを多数準備することが可能となる。
【００７６】
また、ウェル内を複数の撮像視野に分割しそれぞれの撮像視野につき複数の画像を取得し、一の撮像視野ごとに当該撮像視野に対応する全焦点画像を作成し、複数の撮像視野それぞれに対応する全焦点画像を結合してウェルの全体に対応する全焦点画像を作成することができる。このような構成によれば、ウェルが大径である場合や撮像倍率が高い場合のように、一度の撮像でウェル全体を撮像視野に収めることができない場合でも、分割して撮像した画像を事後的につなぎ合わせればウェル全体の画像を得ることができる。
【００７７】
この場合、複数の画像を取得済みの撮像視野について全焦点画像を作成している間に、他の撮像視野について画像を取得することができる。このような構成によれば、一部の撮像視野における撮像と他の撮像視野における画像処理とを併行して進行させることにより、撮像開始から全焦点画像を作成するまでの処理時間を短くすることができる。
【００７８】
また、距離を変数とする多項式により相関関係を表すことができる。このような構成によれば、算出された各特徴点の移動量を例えば公知の最小二乗法に適用することにより、距離と移動量との相関関係を容易に特定することが可能である。
【産業上の利用可能性】
【００７９】
この発明は、液体中で種々の深さに分布する細胞、細胞コロニー等の全焦点画像を良好な画像品質で作製することが可能であり、例えば創薬スクリーニングなど、医学や生化学の分野に特に好適に適用可能なものである。
【符号の説明】
【００８０】
１  撮像装置（画像処理装置）
９  ウェルプレート
１３  撮像部
１４  制御部
９１  ウェル
Ｃ、Ｃ１、Ｃ２  細胞コロニー
Ｍ  培地
ＯＢ１〜ＯＢ７  オブジェクト
【図１】
2020052119.tif 000003
【図２】
2020052119.tif 000004
【図３】
2020052119.tif 000005
【図４】
2020052119.tif 000006
【図５】
2020052119.tif 000007
【図６】
2020052119.tif 000008
【図７】
2020052119.tif 000009
【図８】
2020052119.tif 000010
【図９】
2020052119.tif 000011
【図１０】
2020052119.tif 000012
【図１１】
2020052119.tif 000013
【図１２】
2020052119.tif 000014
【図１３】
2020052119.tif 000015