(57)【要約】【課題】断続的に撮影された各画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を提供する。【解決手段】撮像装置により視野内に位置する物体を撮影した第１画像、及び所定時間経過後に視野内に位置する物体を撮像装置により撮影した第２画像を取得するステップＳ１１０と、第１画像及び第２画像に含まれる各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像との位置ずれに対する位置補正値を算出するステップＳ１８０と、算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行うステップＳ１９０とを備え、位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成される。【選択図】図１
2009152827.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により視野内に位置する複数の物体を撮影した第１画像と、所定時間の経過後に視野内に位置する複数の前記物体を前記撮像装置により撮影した第２画像とを取得し、
前記第１画像及び前記第２画像に含まれる各前記物体の画像特徴量に応じた重み付けをした相関関数を用いて前記第１画像と前記第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出し、
前記位置補正値に基づいて前記第１画像及び前記第２画像の画像間で位置補正を行って、タイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理方法。
【請求項２】
前記画像特徴量が、前記物体の外形に基づく特徴量であることを特徴とする請求項１に記載のタイムラプス画像の画像処理方法。
【請求項３】
前記画像特徴量が、前記物体のテクスチャ構造に基づく特徴量であることを特徴とする請求項１に記載のタイムラプス画像の画像処理方法。
【請求項４】
撮像装置により視野内に位置する複数の物体を撮影した第１画像、及び所定時間の経過後に視野内に位置する複数の前記物体を前記撮像装置により撮影した第２画像を取得するステップと、
前記第１画像及び前記第２画像に含まれる各前記物体の画像特徴量に応じた重み付けをした相関関数を用いて前記第１画像と前記第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出するステップと、
前記位置補正値に基づいて前記第１画像及び前記第２画像の画像間で位置補正を行うステップとを備え、
画像間で位置補正された前記第１画像及び前記第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理プログラム。
【請求項５】
前記画像特徴量が、前記物体の外形に基づく特徴量であることを特徴とする請求項４に記載のタイムラプス画像の画像処理プログラム。
【請求項６】
前記画像特徴量が、前記物体のテクスチャ構造に基づく特徴量であることを特徴とする請求項４に記載のタイムラプス画像の画像処理プログラム。
【請求項７】
前記画像特徴量が、予め設定記憶された複数種類の特徴量からなるとともに、前記特徴量の種類を選択するモード選択ステップを有し、
前記モード選択ステップにおいて選択された特徴量に応じた重み付けの相関関数を用いて前記ずれ量を算出するように構成したことを特徴とする請求項４に記載のタイムラプス画像の画像処理プログラム。
【請求項８】
複数の物体を撮影する撮像装置と、
前記撮像装置により所定の時間間隔を隔てて撮影された第１画像及び第２画像から各画像に含まれる各前記物体の画像特徴量を解析する画像解析部と、
解析された各前記物体の前記画像特徴量に応じた重み付けをした相関関数を用いて前記第１画像と前記第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出する位置補正値算出部と、
前記位置補正値算出部において算出された前記位置補正値に基づいて前記第１画像及び前記第２画像の画像間で位置補正を行う画像間位置補正部とを備え、
前記画像間位置補正部により画像間で位置補正された前記第１画像及び前記第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理装置。
【請求項９】
前記画像特徴量が、前記物体の外形に基づく特徴量であることを特徴とする請求項８に記載のタイムラプス画像の画像処理装置。
【請求項１０】
前記画像特徴量が、前記物体のテクスチャ構造に基づく特徴量であることを特徴とする請求項８に記載のタイムラプス画像の画像処理装置。
【請求項１１】
前記画像特徴量について予め設定された複数種類の特徴量を記憶する特徴量記憶部と、
前記特徴量記憶部に設定された前記特徴量の種類を選択するモード選択手段とを備え、
前記位置補正値算出部が、前記モード選択手段において選択された特徴量に応じた重み付けの相関関数を用いて前記位置補正値を算出するように構成したことを特徴とする請求項８に記載のタイムラプス画像の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察対象を撮像装置により所定の時間間隔で断続的に撮影して複数の画像を取得し、取得した画像を時系列に並べてタイムラプス画像を生成するタイムラプス画像の画像処理手段に関する。
【背景技術】
【０００２】
上記のようなタイムラプス画像により観察対象の変化を観察する装置として、例えば、生細胞を培養しながら状態変化を観察する培養顕微鏡や、道路や海域の渋滞状況等を観測する観測装置などがある。このような装置、例えば培養顕微鏡において、細胞個々や細胞間の運動状態を観察し適正な評価を行うためには、視野内の各細胞の空間位置をハードウェアもしくはソフトウェアにより保証して、タイムラプス画像を生成する必要がある。
【０００３】
ここで、視野内における各細胞の空間位置、すなわち撮像装置を含む観察光学系と観察対象との相対位置を機構構成によりハード的に保証するためには、温度ドリフトの影響を抑えるために熱膨張係数が極めて低いスーパー・インバーやセラミック等の高価な材質を用いて部材を構成することや、位置補正用のアライメント光学系を搭載することなどが必要となり、装置全体が複雑化・高額化する。さらに、観察光学系と観察対象との相対的な位置ずれを最小化しようとすれば、観察光学系と観察対象との相対位置を固定して一つの観察対象を観察し続ける必要がある。これらの不都合を回避して複数の観察対象を適宜入れ替えながら観察可能とするため、断続的に撮影された画像について、画像全体の相関を取ることによりソフト的に画像間の位置補正を行う手法が提案されている（例えば、特許文献1を参照）。
【特許文献１】特開２００６−２３４９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ここで、各画像間で画像全体の相関を取ることにより位置補正を行う場合には、視野内の個々の細胞がランダムに動いており、画像全体の重心は静止しているという仮定が成り立っている必要がある。このため、例えばゴミや泡などの観察対象外の物が視野内を流れているような場合には、ランダム運動の仮定が崩れ、観察対象以外の物の変位に引き摺られた位置補正がなされてしまうことがある、という課題があった。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、断続的に撮影された各画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明を例示する第１の態様に従えば、撮像装置により視野内に位置する複数の物体（例えば、実施形態における細胞Ｃ１，Ｃ２）を撮影した第１画像と、所定時間の経過後に視野内に位置する複数の物体を撮像装置により撮影した第２画像とを取得し、第１画像及び第２画像に含まれる各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像との撮影位置の相対的な位置ずれに対する位置補正値を算出し、この位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行ってタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理方法が提供される。
【０００７】
本発明を例示する第２の態様に従えば、撮像装置により視野内に位置する複数の物体を撮影した第１画像及び所定時間の経過後に視野内に位置する複数の物体（例えば、実施形態における細胞Ｃ１，Ｃ２）を撮像装置により撮影した第２画像を取得するステップと、第１画像及び第２画像に含まれる各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像の撮影位置の相対的な位置ずれに対する位置補正値を算出するステップと、算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行うステップとを備え、画像間で位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理プログラムが提供される。
【０００８】
本発明を例示する第３の態様に従えば、複数の物体を撮影する撮像装置と、撮像装置により所定の時間間隔を隔てて撮影された第１画像及び第２画像から各画像に含まれる各物体（例えば、実施形態における細胞Ｃ１，Ｃ２）の画像特徴量を解析する画像解析部と、解析された各物体の画像特徴量に応じた重み付けをした相関関数を用いて第１画像と第２画像の撮影位置の相対的な位置ずれに対する位置補正値を算出する位置補正値算出部と、位置補正値算出部において算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行う画像間位置補正部とを備え、画像間位置補正部により画像間で位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成したことを特徴とするタイムラプス画像の画像処理装置が提供される。
【発明の効果】
【０００９】
上記のようなタイムラプス画像の画像処理方法、画像処理プログラム、画像処理装置によれば、複数の画像間の位置補正が、視野内に含まれる複数の物体の画像特徴量に応じた重み付けの相関関数を用いて算出されるため、断続的に撮影された各画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照しながら説明する。本発明のタイムラプス画像の画像処理装置を適用したシステムの一例として、培養観察システムの概要構成図及びブロック図を、それぞれ図２及び図３に示す。
【００１１】
この培養観察システムＢＳは、大別的には、筐体１の上部に設けられた培養室２と、複数の培養容器１０を収容保持する棚状のストッカー３と、培養容器１０内の試料を観察する観察ユニット５と、培養容器１０をストッカー３と観察ユニット５との間で搬送する搬送ユニット４と、システムの作動を制御する制御ユニット６と、画像表示装置を備えた操作盤７などから構成される。
【００１２】
培養室２は、培養する細胞の種別や目的等に応じた培養環境を形成し及び維持する部屋であり、環境変化やコンタミネーションを防止するためサンプル投入後は密閉状態に保持される。培養室２に付随して、培養室内の温度を昇温・降温させる温度調整装置２１、湿度を調整する加湿器２２、ＣＯ2ガスやＮ2ガス等のガスを供給するガス供給装置２３、培養室２全体の環境を均一化させるための循環ファン２４、培養室２の温度や湿度等を検出する環境センサ２５などが設けられている。各機器の作動は制御ユニット６により制御され、培養室２の温度や湿度、二酸化炭素濃度等により規定される培養環境が、操作盤７において設定された培養条件に合致した状態に維持される。
【００１３】
ストッカー３は、図２における紙面直行の前後方向、及び上下方向にそれぞれ複数に仕切られた棚状に形成されている。各棚にはそれぞれ固有の番地が設定されており、例えば前後方向をＡ〜Ｃ列、上下方向を１〜７段とした場合に、Ａ列５段の棚がＡ−５のように設定される。
【００１４】
培養容器１０は、フラスコやディッシュ、ウェルプレートなどの種類、丸型や角型などの形態、及びサイズがあり、培養する細胞の種別や目的に応じて適宜なものを選択し使用することができる。本実施形態ではディッシュを用いた構成を例示している。細胞などの試料は、フェノールレッドなどのｐＨ指示薬が入った液体培地とともに培養容器１０に注入される。培養容器１０にはコード番号が付与され、ストッカー３の指定番地に対応づけて収容される。なお、培養容器１０には、容器の種類や形態等に応じて形成された搬送用の容器ホルダが装着された状態で各棚に収容保持される。
【００１５】
搬送ユニット４は、培養室２の内部に上下方向に移動可能に設けられてＺ軸駆動機構により昇降されるＺステージ４１、Ｚステージ４１に前後方向に移動可能に取り付けられてＹ軸駆動機構により前後移動されるＹステージ４２、Ｙステージ４２に左右方向に移動可能に取り付けられてＸ軸駆動機構により左右移動されるＸステージ４３などからなり、Ｙステージに対して左右移動されるＸステージ４３の先端側に、培養容器１０を持ちあげ支持する支持アーム４５が設けられている。搬送ユニット４は、支持アーム４５がストッカー３の全棚と観察ユニット５の試料台１５との間を移動可能な移動範囲を有して構成される。Ｘ軸駆動機構、Ｙ軸駆動機構、Ｚ軸駆動機構は、例えばボールネジとエンコーダ付きのサーボモータにより構成され、その作動が制御ユニット６により制御される。
【００１６】
観察ユニット５は、第１照明部５１、第２照明部５２及び第３照明部５３と、試料のマクロ観察を行うマクロ観察系５４、試料のミクロ観察を行う顕微観察系５５、及び画像処理装置１００などから構成される。試料台１５は透光性を有する材質で構成されるとともに、顕微観察系５５の観察領域に透明な窓部１６が設けられている。
【００１７】
第１照明部５１は、下部フレーム１ｂ側に設けられた面発光の光源からなり、試料台１５の下側から培養容器１０全体をバックライト照明する。第２照明部５２は、ＬＥＤ等の光源と、位相リングやコンデンサレンズ等からなる照明光学系とを有して培養室２に設けられており、試料台１５の上方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。第３照明部５３は、それぞれ落射照明観察や蛍光観察に好適な波長の光を出射する複数のＬＥＤや水銀ランプ等の光源と、各光源から出射された光を顕微観察系５５の光軸に重畳させるビームスプリッタや蛍光フィルタ等からなる照明光学系とを有して、培養室２の下側に位置する下部フレーム１ｂ内に配設されており、試料台１５の下方から顕微観察系５の光軸に沿って培養容器中の試料を照明する。
【００１８】
マクロ観察系５４は、観察光学系５４ａと観察光学系により結像された試料の像を撮影するＣＣＤカメラ等の撮像装置５４ｃとを有し、第１照明部５１の上方に位置して培養室２内に設けられている。マクロ観察系５４は、第１照明部５１によりバックライト照明された培養容器１０の上方からの全体観察画像（マクロ像）を撮影する。
【００１９】
顕微観察系５５は、対物レンズや中間変倍レンズ、蛍光フィルタ等からなる観察光学系５５ａと、観察光学系５５ａにより結像された試料の像を撮影する冷却ＣＣＤカメラ等の撮像装置５５ｃとを有し、下部フレーム１ｂの内部に配設されている。対物レンズ及び中間変倍レンズは、それぞれ複数設けられるとともに、詳細図示を省略するレボルバやスライダなどの変位機構を用いて複数倍率に設定可能に構成されており、初期選択のレンズ設定に応じて、例えば２倍〜８０倍等の範囲で変倍可能になっている。顕微観察系５５は、第２照明部５２により照明されて細胞を透過した透過光、若しくは第３照明部５３により照明されて細胞により反射された反射光、または第３照明部５３により照明されて細胞が発する蛍光、を顕微鏡観察した顕微観察像（ミクロ像）を撮影する。
【００２０】
画像処理装置１００は、マクロ観察系の撮像装置５４ｃ及び顕微観察系の撮像装置５５ｃから入力された信号をＡ／Ｄ変換するとともに、各種の画像処理を施して全体観察画像または顕微観察画像の画像データを生成する。また、画像処理装置１００は、これらの観察画像の画像データに画像解析を施し、タイムラプス画像の生成や細胞の移動量算出等を行う。画像処理装置１００は、具体的には、次述する制御装置６のＲＯＭに記憶された画像処理プログラムが実行されることにより構築される。なお、画像処理装置１００については、後に詳述する。
【００２１】
制御ユニット６は、ＣＰＵ６１と、培養観察システムＢＳの作動を制御する制御プログラムや各部を制御するためのデータが設定記憶されたＲＯＭ６２と、画像データ等を一時記憶するＲＡＭ６３などを有し、これらがデータバスにより接続されて構成される。制御ユニット６の入出力ポートには、培養室２における温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４及び環境センサ２５、搬送装置４におけるＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構、観察ユニット５における第１，第２，第３照明部５１，５２，５３、マクロ観察系５４及び顕微観察系５５、操作盤７における操作パネル７１や表示パネル７２などが接続されている。ＣＰＵ６１には上記各部から検出信号が入力され、ＲＯＭ６２に予め設定された制御プログラムに従って上記各部を制御する。
【００２２】
操作盤７には、キーボードやシートスイッチ、磁気記録媒体や光ディスク等から情報を読み込み及び書き込みするリード／ライト装置などの入出力機器が設けられた操作パネル７１と、種々の操作画面や画像データ等を表示する表示パネル７２とが設けられており、表示パネル７２を参照しながら操作パネル７１で観察プログラム（動作条件）の設定や条件選択、動作指令等を入力することで、ＣＰＵ６１を介して培養観察システムＢＳの各部を動作させる。すなわち、ＣＰＵ６１は操作パネル７１からの入力に応じて培養室２の環境調整、培養室２内での培養容器１０の搬送、観察ユニット５による試料の観察、取得された画像データの解析及び表示パネル７２への表示などを実行する。表示パネル７２には、作動指令や条件選択等の入力画面のほか、培養室２の環境条件の各数値や、解析された画像データ、異常発生時の警告などが表示される。また、ＣＰＵ６１は有線または無線の通信規格に準拠して構成された通信部６５を介して、外部接続されるコンピュータ等との間でデータの送受信が可能になっている。
【００２３】
ＲＡＭ６３には、操作パネル７１において設定された観察プログラムの動作条件、例えば培養室２の温度や湿度等の環境条件や、培養容器１０ごとの観察スケジュール、観察ユニット５における観察種別や観察位置、観察倍率等の観察条件などが記録される。また、培養室２に収容された各培養容器１０のコード番号、各コード番号の培養容器１０が収容されたストッカー３の収納番地などの培養容器１０の管理データや、画像解析に用いる各種データが記録される。ＲＡＭ６３には、観察ユニット５により撮影された画像データを記録する画像データ記憶領域が設けられ、各画像データには培養容器１０のコード番号と撮影日時等を含むインデックス・データとが対応付けて記録される。
【００２４】
このように概要構成される培養観察システムＢＳでは、操作盤７において設定された観察プログラムの設定条件に従い、ＣＰＵ６１がＲＯＭ６２に記憶された制御プログラムに基づいて各部の作動を制御するとともに、培養容器１０内の試料の撮影を自動的に実行する。すなわち、操作パネル７１に対するパネル操作（または通信部６５を介したリモート操作）によって観察プログラムがスタートされると、ＣＰＵ６１が、ＲＡＭ６３に記憶された環境条件の各条件値を読み込むとともに、環境センサ２５から入力される培養室２の環境状態を検出し、条件値と実測値との差異に応じて温度調整装置２１、加湿器２２、ガス供給装置２３、循環ファン２４等を作動させて、培養室２の温度や湿度、二酸化炭素濃度などの培養環境についてフィードバック制御が行われる。
【００２５】
また、ＣＰＵ６１は、ＲＡＭ６３に記憶された観察条件を読み込み、観察スケジュールに基づいて搬送ユニット４のＸ，Ｙ，Ｚステージ４３，４２，４１の各軸の駆動機構を作動させてストッカー３から観察対象の培養容器１０を観察ユニット５の試料台１５に搬送して、観察ユニット５による観察を開始させる。例えば、観察プログラムにおいて設定された観察がマクロ観察である場合には、搬送ユニット４によりストッカー３から搬送してきた培養容器１０をマクロ観察系５４の光軸上に位置決めして試料台１５に載置し、第１照明部５１の光源を点灯させて、バックライト照明された培養容器１０の上方から撮像装置５４ｃにより全体観察像を撮影する。撮像装置５４ｃから制御装置６に入力された信号は、画像処理装置１００により処理されて全体観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００２６】
また、観察プログラムにおいて設定された観察が、培養容器１０内の特定位置の試料のミクロ観察である場合には、搬送ユニット４により搬送してきた培養容器１０の特定位置を顕微観察系５５の光軸上に位置決めして試料台１５に載置し、第２照明部５２または第３照明部５３の光源を点灯させて、透過照明、落射照明、蛍光による顕微観察像を撮像装置５５ｃに撮影させる。撮像装置５５ｃにより撮影されて制御装置６に入力された信号は、画像処理装置１００により処理されて顕微観察画像が生成され、その画像データが撮影日時等のインデックス・データなどとともにＲＡＭ６３に記録される。
【００２７】
ＣＰＵ６１は、上記のような観察を、ストッカー３に収容された複数の培養容器の試料について、観察プログラムに基づいた３０分〜２時間程度の時間間隔の観察スケジュールで全体観察像や顕微観察像の撮影を順次実行する。本実施形態では、撮影の時間間隔は一定であってもよいし、異なっていてもよい。撮影された全体観察像や顕微観察像の画像データは、培養容器１０のコード番号とともにＲＡＭ６３の画像データ記憶領域に記録される。ＲＡＭ６３に記録された画像データは、操作パネル７１から入力される画像表示指令に応じてＲＡＭ６３から読み出され、指定時刻の全体観察画像や顕微観察画像（単体画像）、あるいは指定時間領域の全体観察像や顕微観察像のタイムラプス画像が操作盤７の表示パネル７２に表示される。
【００２８】
このように、培養観察システムＢＳでは、観察プログラムの設定に応じて、対象となる培養容器１０がストッカー３から搬送装置４により観察ユニット５に搬送され、指定された観察系の光軸上に位置決めされて撮像装置により撮影される。すなわち、培養観察システムＢＳでは、観察対象の試料と観察系とが観察を行うたびに相対移動される。そのため、複数回の観察について、観察対象と観察系との相対的な位置関係をハード的に一致させることは難しく、とくに観察倍率が高いほど困難である。そのため、撮像装置５４ｃ，５５ｃにより撮影された画像の試料に対する位置（試料の視野位置）は観察ごとに微妙に異なり、ＲＡＭ６３に記録された複数の画像間で観察視野の位置ずれが不可避的に生じる。
【００２９】
このような位置ずれは、断続的に撮影された多数の画像を連続的に再生して、現実の時間軸では目視的に把握しにくい試料の変化状態を、時間軸を圧縮して動画のように動的変化として可視化するタイムラプス画像を生成する際に、画像品質を悪化させる大きな要因となる。そのため、従来では、観察対象がランダムに運動していることを前提として、断続的に撮影された画像について、画像全体の相関を取って画像間の位置補正を行う手法が用いられていた。
【００３０】
しかしながら、観察系の視野内には、例えば細胞などの観察対象のほかに、ゴミや泡などのような観察対象以外の物（非対象物という）が含まれることがあり、このような非対象物が、培養容器１０の搬送に伴う培地の流動や、循環ファン２４の作動により生じる風の影響を受けて視野内を流れているような場合には、非対象物の変位に引き摺られた位置補正がなされてしまうことになる。
【００３１】
また、視野内に非対象物を含まない場合であっても、観察対象の細胞（単一細部や細胞塊）のサイズに大小の差異があったり、特性が異なる複数の細胞が含まれたりすることも多い。このような例においても、外力の影響を受けやすいサイズの小さな細胞や浮遊性の細胞が、培地の流動や風の圧力等の「外圧」により大きく移動するような場合に、このような細胞の移動の影響を大きく受けた位置補正がなされてしまうことがあった。
【００３２】
図４(１)〜(３)は、上記のような位置補正がなされる状況を説明するため、異なるサイズの細胞を含む試料を顕微観察系５５で観察したときの顕微観察像を模式的に示したものである。各図中において、Ｃ１が培養容器との接地面積の大きい細胞、Ｃ２が培養容器との接地面積の小さい細胞である。
【００３３】
図４の(１)は、位置補正が可能なある時刻ｔにおいて撮像装置５５ｃにより撮影された顕微観察画像である。図中に付記した矢印は、培地の流動や風の圧力などの外圧が作用していない場合において、次の観察スケジュールである時刻ｔ＋１に観察される各細胞の移動量を示している。この図に示すように、一般的に、接地面積の大きな細胞Ｃ１は移動量が少なく、接地面積の小さな細胞Ｃ２は移動量が大きい傾向を有している。
【００３４】
図４の(２)は、(１)に示した状態で図における下方から上方に向けて外圧Ｐが作用した場合の顕微観察画像であり、(１)と同様に次の観察スケジュールである時刻ｔ＋１に観察される各細胞の移動量を矢印で示している。接地面積が小さい細胞Ｃ２は、培地の流動や風の圧力などの外圧の影響を受け易く、接地面積の大きな細胞Ｃ１よりも上方への移動量が大きくなっている。このような場合に、時刻ｔの画像と時刻ｔ＋１の画像との画像全体の相関値で求めた位置補正量は、顕微観察系５５の光軸に対する観察対象の位置決め誤差と、外圧Ｐの影響による移動分の合計値となる。
【００３５】
図４の(３)は、時刻ｔの画像と、(２)の画像全体の相関値で位置補正を行った時刻ｔ＋１の画像とから各細胞Ｃ１，Ｃ２の移動量を算出した場合の画像である。画像間の位置補正について、外圧Ｐの影響による移動分を補正しすぎているため、外圧Ｐによって大きく上方に移動した小さな細胞Ｃ２の移動量が小さく算出され、本来的に殆ど移動していない大きな細胞Ｃ１について下方への移動量が算出される。
【００３６】
このような不具合を是正するため、培養観察システムＢＳにおいては、観察スケジュールに応じて断続的に撮影された時刻ｔの第１画像と時刻ｔ＋１の第２画像に対し、画像全体の相関値で位置補正を行うのではなく、視野内に含まれる物体の画像特徴量に応じた重み付けをした相関関数を用いて位置補正を行うように構成される。
【００３７】
図５に、上記の位置補正を行う画像処理装置１００の概要構成をブロック図として示す。なお、画像処理装置１００（１０１〜１０３）は、ＲＯＭ６２に予め設定記憶された画像処理プログラムＧＰ（ＧＰ１〜ＧＰ３）がＣＰＵ６１に読み込まれ、画像処理プログラムＧＰに基づく処理がＣＰＵ６１により実行されることによって構成される。図１に、第１実施形態の画像処理プログラムＧＰ１のフローチャートを示す。
【００３８】
画像処理装置１００は、撮像装置（５４ｃ，５５ｃ）により所定の観察インターバルをおいて撮影された第１画像及び第２画像から各画像に含まれる各物体の画像特徴量を解析する画像解析部１１０と、解析された各物体の画像特徴量に応じた重みを付けた相関関数を用いて第１画像と第２画像の撮影位置の相対的な位置ずれに対する位置補正値を算出する位置補正値算出部１２０と、位置補正値算出部において算出された位置補正値に基づいて第１画像及び第２画像の画像間で位置補正を行う画像間位置補正部１３０とを備え、画像間位置補正部により画像間で位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成するように構成される。
【００３９】
（第１実施形態）
第１実施形態の画像処理装置１０１は、第１実施形態の画像処理プログラムＧＰ１をＣＰＵ６１が実行することにより構築される。この画像処理装置１０１は、第１画像及び第２画像に含まれる物体の画像特徴量として物体の外形に基づく特徴量を基準とし、特徴量に応じた重みを付けた相関関数を用いて位置ずれに対する位置補正を行う。
【００４０】
画像処理プログラムＧＰ１では、まずステップＳ１１０において、ＲＡＭ６３に記録された時刻ｔの第１画像、及び時刻ｔ＋１の第２画像を読み出して取得し、ステップＳ１２０において各領域にセグメント化する。セグメンテーションには、公知の種々の手法を用いることができ、例えば、輝度値による２値化、分散値による２値化、SnakesやLevel Set法等の動的輪郭抽出法などがあげられる。
【００４１】
次に、ステップＳ１３０において、セグメント化された各領域の外形に基づく特徴量（形状特徴）の解析を行う。外形に基づく特徴量として、例えば、領域の幅や長さ、面積（大きさ）、形状の複雑度（周囲長2／面積）などが例示される。実施例では、外形に基づく特徴量として細胞の接地面積に着目し領域の面積を規定した場合について説明する。ステップＳ１３５では、セグメント化された各領域の面積について頻度分布を作成しステップＳ１４０に進む。
【００４２】
ステップＳ１４０では、ステップＳ１３５で作成された頻度分布が１つの正規分布でモデル化できるか否かが判断され、１つの正規分布で表現可能な場合にはステップＳ１５０Ａに進み、単一の正規分布でモデル化できず複数個の正規分布の和で表現される場合にはステップＳ１５０Ｂに進む。たとえば、図４に示した画像のような場合には、ステップＳ１３５で作成される頻度分布が、接地面積が大きい細胞Ｃ１の分布と接地面積が小さい細胞Ｃ２の分布の二つの分布により表現されるため、ステップＳ１５０Ｂに進む。
【００４３】
ステップＳ１５０Ａでは、セグメント化された各領域にラベリングされて領域ごとに面積が算出され、ステップＳ１５５Ａで面積値に応じた重み付けが指定される。一方、ステップＳ１５０Ｂでは、分離された分布に応じてクラス別けされ（例えば接地面積が大きい細胞Ｃ１のクラスと接地面積が小さい細胞Ｃ２のクラスの二つにクラス分けされ）、ステップＳ１５５Ｂにおいてクラスごとの重み付けが指定される。
【００４４】
ここで、重み付けの関数について考察する。図６は、ある細胞Ｃに対して図の下方から外圧Ｐが作用している状況を模式的に示した平面図(１)、及び断面図(２)である。観察対象の細胞Ｃに一定の外圧Ｐが働いているとした場合、外圧Ｐにより任意の細胞Ｃjに作用する外力（細胞を移動させようとする力）Ｆjは、外圧Ｐに垂直な面の断面積をＳjとしたときにＦj∝Ｐ×Ｓjとなり、その細胞Ｃjの断面積Ｓjに比例する。細胞Ｃが単層細胞の場合は核細胞の厚みが一定であるため、外圧Ｐに直行方向の幅をＬjとすればＦj∝Ｐ×Ｌjとなり、外圧Ｐにより細胞Ｃjに作用する外力Ｆjは幅Ｌjに比例する。
【００４５】
一方、細胞の質量Ｗは体積Ｖに比例し、細胞Ｃjの立体形状を直径Ｌjの円柱に近似すると、体積Ｖjは直径の自乗、すなわち細胞Ｃjの外圧直行方向の幅Ｌjの自乗量に比例する。このため、培養容器１０に接地している細胞の摩擦力（摩擦抵抗力：μＷj）はＬj-2に比例する。
【００４６】
従って、細胞の移動に対する外圧Ｐの影響度（移動しやすさ／しにくさ）は、単純な摩擦力だけを考慮した場合でもＬj-1に比例して動き難くなり、大きな細胞ほど外圧Ｐの影響を受け難いことになる。実際には、細胞の接地面積に応じて摩擦係数μも異なるため、重み付けの関数はＬ-1より急峻な関数となる。
【００４７】
ＲＯＭ６２には、上記のような考察に基づいて算出された細胞の接地面積の大きさに応じた重み付けの関数ｇjが予め設定記憶されており、ステップＳ１５５Ａ，Ｓ１５５Ｂでは、各細胞Ｃjの大きさや、各クラスの平均サイズに応じた重み付けの関数ｇjが指定されてステップＳ１７０に進む。
【００４８】
ステップＳ１７０では、領域ごとに指定された重み付け関数ｇjのマップを作成し、ステップＳ１８０において時刻ｔの第１画像と時刻ｔ＋１の第２画像との間で、上記重み付けの関数値を適用して画像間の相関値を計算する。そして、相関値の総和が最大となったときの画像間の移動量を位置決め誤差に起因する移動量とし、これを第１画像と第２画像との間の位置補正量（第１画像に対する第２画像の位置補正値）としてＲＡＭ６３に記録してステップＳ１９０に進む。
【００４９】
ステップＳ１９０では、ステップＳ１８０で算出された位置補正量に基づいて、第１，第２画像間の位置補正を実行する。例えば操作パネル７１からタイムラプス画像の生成指令がＣＰＵ６１に入力された場合に、位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成する。また、操作パネル７１において各細胞の移動量を算出する処理が選択され、その指令がＣＰＵ６１に入力された場合には、位置補正された第１画像と第２画像をとの間で各細胞の移動量を算出し、例えば図４に示したような矢印の方向及び長さによってベクトル表示する。
【００５０】
このような画像処理プログラムＧＰ１の実行により構成される画像処理装置１０１では、物体の画像特徴量として物体の外形に基づく特徴量を抽出し、特徴量に応じた重みを付けて複数の画像間の相関をとり、相関値の総和が最大となる移動量を位置補正量として算出して、複数の画像間の画像処理を実行する。そのため、観察視野内にゴミや泡などのような観察対象以外の物が含まれていたり、観察対象の動的特性が異なる複数の細胞が含まれるような場合であっても、的確な位置補正を行うことができ、これにより、断続的に撮影された画像間の位置補正の精度を向上さることができる。
【００５１】
（第２実施形態）
次に、第２実施形態の画像処理装置１０２について説明する。本実施形態の画像処理装置１０２は、物体の画像特徴量として視野内に位置する物体のテクスチャ構造の特徴量を基準とする。すなわち、ハードウェア資源としての画像制御装置の装置構成は、第１実施形態の画像処理装置１０１と同様であるが、画像処理過程において判断の対象となる画像特徴量が第１実施形態の画像処理装置１０１と相違している。ＣＰＵ６１に読み込まれることにより画像処理装置１０２を構成する画像処理プログラムＧＰ２のフローチャートを図７に示し、以降この画像処理プログラムＧＰ２の処理フローに則して、本実施形態の画像処理方法について説明する。
【００５２】
画像処理プログラムＧＰ２では、まずステップＳ２１０において、ＲＡＭ６３に記録された時刻ｔの第１画像、及び時刻ｔ＋１の第２画像を読み出して取得し、ステップＳ２２０において各領域にセグメント化する。セグメンテーションの手法は前述同様に種々の手法を用いることができる。
【００５３】
次に、ステップＳ２３０において、セグメント化された各領域のテクスチャ構造に基づく特徴量（テクスチャ特徴）の解析を行う。テクスチャ構造に基づく特徴量として、例えば、セグメント化された領域の模様や分散、核の有無などが例示される。実施例では、テクスチャ構造に基づく特徴量として細胞像の分散に着目し、領域の分散を規定した場合について説明する。ステップＳ２３５では、セグメント化された各領域の分散について頻度分布を作成しステップＳ２４０に進む。
【００５４】
ステップＳ２４０では、ステップＳ２３５で作成された頻度分布が１つの正規分布でモデル化できるか否かが判断され、１つの正規分布で表現可能な場合にはステップＳ２５０Ａに進み、単一の正規分布でモデル化できず複数個の正規分布の和で表現される場合にはステップＳ２５０Ｂに進む。
【００５５】
ステップＳ２５０Ａでは、領域ごとにラベリングされて面積が算出され、ステップＳ２５５Ａにおいて面積値に応じた重み付けが指定される。ステップＳ２５０Ｂでは、正規分布ごとに複数にクラス別けされ（例えば、分散値に応じて分散値が大きい細胞のクラスから分散値が小さい細胞のクラスまで３クラスに分類され）、ステップＳ２５５Ｂにおいてクラスごとの重み付けが指定される。
【００５６】
重み付けの関数は、第１実施形態と同様に各細胞の接地面積の大きさ（またはクラス）に応じた重み付けの関数ｇjを用いることができる。また、テクスチャ構造の特徴量が複数のクラスに分類され、それが細胞の種類や成長段階の相違に起因するような場合には、それぞれの動的特性に応じた重み付けの関数を用いることができる。ＲＯＭ６２には、このような考察のもとで設定された重み付けの関数が予め記憶されており、ステップＳ２５５Ａ，Ｓ２５５Ｂで重み付けの関数が指定され、ステップＳ２７０に進む。
【００５７】
ステップＳ２７０では、領域ごとに指定された重み付け関数のマップを作成し、ステップＳ２８０において時刻ｔの第１画像と時刻ｔ＋１の第２画像との間で、上記重み付けの関数値を適用して画像間の相関値を計算する。そして、相関値の総和が最大となったときの画像間の移動量を位置決め誤差に起因する移動量とし、これを第１画像と第２画像との間の位置補正量としてＲＡＭ６３に記録してステップＳ２９０に進む。
【００５８】
ステップＳ２９０では、ステップＳ２８０で算出された位置補正量に基づいて、第１，第２画像間の位置補正を実行する。そして、操作パネル７１からタイムラプス画像の生成指令がＣＰＵ６１に入力された場合、あるいは細胞の移動量を算出する指令がＣＰＵ６１に入力された場合に、ＣＰＵ６１は位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成し、あるいは図４に示したように各細胞の移動量を矢印によってでベクトル表示する。
【００５９】
このように、画像処理プログラムＧＰ２の実行により構成される画像処理装置１０２では、物体の画像特徴量として物体のテクスチャ構造に基づく特徴量を抽出し、特徴量に応じた重みを付けて複数の画像間の相関をとり、位置補正量を算出して複数の画像間の画像処理を実行する。従って、観察視野内にゴミや泡などのような非対象物が含まれる場合や、観察対象の動的特性が異なる複数の細胞が含まれるような場合であっても、的確な位置補正を行うことができ、これにより、断続的に撮影された画像間の位置補正の精度を向上さることができる。
【００６０】
（第３実施形態）
次に、第３実施形態の画像処理装置１０３について説明する。この画像処理装置１０３は、図５中に二点鎖線で示すように、既述した各実施形態の画像処理装置１０１，１０２に加えて、画像特徴量について複数種類の特徴量を記憶する特徴量記憶部１４０と、特徴量記憶部１４０に設定された特徴量の種類を選択するモード選択スイッチ１５０とを備え、位置補正値算出部１２０が、モード選択スイッチ１５０において選択された特徴量に応じた重み付けの相関関数を用いて位置補正値を算出するように構成される。
【００６１】
ＣＰＵ６１に読み込まれることにより画像処理装置１０３を構成する画像処理プログラムＧＰ３のフローチャートを図８に示しており、以降この画像処理プログラムＧＰ３の処理フローに則して、本実施形態の画像処理方法について説明する。
【００６２】
画像処理プログラムＧＰ３では、まずステップＳ３１０において、ＲＡＭ６３に記録された時刻ｔの第１画像、及び時刻ｔ＋１の第２画像を読み出して取得し、ステップＳ３２０において各領域にセグメント化する。セグメンテーションの手法は前述同様に種々の手法を用いることができる。
【００６３】
次に、ステップＳ３３０において、各領域にセグメント化された画像から重み付けを行う対象を１つ抽出して指定する。例えば、図４に示した画像において面積が大きい細胞Ｃ１を抽出して重み付け対象に指定しステップＳ３４０に進む。
【００６４】
ステップＳ３４０では、ＲＡＭ６３から取得した第１画像及び第２画像について、上記指定対象以外に重み付け対象となる領域が存在するか否かについて判断する。そして、ステップＳ３３０において指定した指定対象の細胞Ｃ１の他に面積が小さい細胞Ｃ２が併存するときのように、指定対象以外に重み付け対象となる領域が存在すると判断される場合にステップＳ３４５に進み、他に存在しないと判断される場合にはステップＳ３７０に進む。
【００６５】
ステップＳ３４５では、特徴量記憶部１４０に設定された特徴量の種類を選択するモード選択画面を表示パネル７２に表示させる。このモード選択画面では、ＲＡＭ６３から取得された画像中に、ステップＳ３３０において抽出された指定対象（細胞Ｃ１）と、重み付けの対象となる他の領域（細胞Ｃ２）とが識別されて表示される。モード選択画面で選択可能なモードは特徴量の選択に応じて適宜に設定することができるが、例えば図８に示すように、マニュアルモード、形状特徴量モード、テクスチャ特徴量モードが設定される。培養観察システムを操作するオペレータは、モード選択スイッチ１５０を操作して任意のモードで位置補正の処理を実行させることができる。
【００６６】
モード選択スイッチ１５０においてマニュアルモードが選択された場合には、ステップＳ３４６でマニュアルモードが設定されてステップＳ３３０に戻り、オペレータが操作パネル７１を操作して自ら重み付け対象の指定領域の追加や削除を行うことができる。
【００６７】
モード選択スイッチ１５０において形状特徴量モードが選択された場合には、ステップＳ３５０Ａに進んで形状特徴量モードが設定され、形状特徴量に応じたクラス別けが実行される。例えば、第１実施形態の画像処理装置１０１について説明したように、セグメント化された領域が、接地面積の大きい細胞Ｃ１のクラスと接地面積の小さい細胞Ｃ２のクラスのようにクラス別けされる。
【００６８】
モード選択スイッチ１５０においてテクスチャ特徴量モードが選択された場合には、ステップＳ３５０Ｂに進んでテクスチャ特徴量モードが設定され、テクスチャ特徴量に応じたクラス別けが実行される。例えば、第２実施形態の画像処理装置１０２について説明したように、セグメント化された領域が、分散値の大きい細胞のクラスと分散値の小さい細胞のクラスのように複数にクラス別けされる。
【００６９】
そして、ステップＳ３６０において指定領域と同じクラスの領域を重み付け対象領域に加え、ステップＳ３７０において重み付けの関数が指定された上で、重み付けマップが作成される。重み付けの関数は、既述した画像処理装置１０１，１０２と同様に、各細胞の接地面積の大きさやクラスに応じた重み付けの関数ｇjを用いることができ、あるいは細胞の種類や成長段階の相違に応じたクラス分類に相当するような場合には、それぞれの特性に応じた重み付けの関数を用いることができる。
【００７０】
ステップＳ３７０において重み付け関数のマップが作成されると、ステップＳ３８０において時刻ｔの第１画像と時刻ｔ＋１の第２画像との間で、上記重み付けの関数値を適用して画像間の相関値を計算する。そして、相関値の総和が最大となったときの画像間の移動量を位置決め誤差に起因する移動量とし、これを第１画像と第２画像との間の位置補正量としてＲＡＭ６３に記録してステップＳ３９０に進む。
【００７１】
ステップＳ３９０では、ステップＳ３８０で算出された位置補正量に基づいて、第１，第２画像間の位置補正を実行する。そして、操作パネル７１からタイムラプス画像の生成指令がＣＰＵ６１に入力された場合、あるいは細胞の移動量を算出する指令がＣＰＵ６１に入力された場合に、ＣＰＵ６１は位置補正された第１画像及び第２画像を用いてタイムラプス画像を生成し、あるいは図４に示したように各細胞の移動量を矢印によってベクトル表示する。
【００７２】
このように、画像処理プログラムＧＰ３の実行により構成される画像処理装置１０３では、物体の画像特徴量として複数種類の特徴量が特徴量記憶部１４０に予め設定記憶され、モード選択スイッチ１５０において選択された特徴量に応じた重みを付けて複数の画像間の相関をとり、位置補正量を算出して複数の画像間の画像処理を実行する。従って、観察視野内にゴミや泡などのような非対象物が含まれる場合や、観察対象の動的特性が異なる複数の細胞が含まれるような場合であっても、観察対象の種別や状態に応じてより好適な特徴量を選択して的確な位置補正を行うことができ、これにより、断続的に撮影された画像間の位置補正の精度を向上さることができる。
【００７３】
以上説明したように、本発明の画像処理プログラムＧＰ（ＧＰ１〜ＧＰ３）、これらの画像処理プログラムが実行されることより構成される画像処理方法及び画像処理装置１００（１０１〜１０３）によれば、視野内の物体の画像特徴量に応じた重み付けの相関関数を用いて画像間で位置補正がなされるため、断続的に撮影された画像間の位置補正の精度を向上させたタイムラプス画像の画像処理手段を得ることができる。
【００７４】
なお、実施形態では、本発明のタイムラプス画像の画像処理装置を培養観察システムに適用した場合を例示したが、本発明はこの実施形態に限定されるものではなく、所定の時間間隔をおいて複数の画像を取得しこれを連続的に再生するような他の装置にも同様に適用し同様の効果を得ることができる。一例として、海域を移動する船舶の移動状況を観察する観察装置について簡単に説明すれば、外形に基づく特徴量として、船舶の形態（釣り船、客船、タンカー、駆逐艦等）や大きさ（排水量）高さ、テクスチャ構造に基づく特徴量として船体の色や分散などが例示され、外圧として潮の流れや風の状態などがあげられる。その他の装置として、車両の渋滞状況を観測する道路情報観測装置、人の移動状態等を監視する監視装置などが例示される。
【図面の簡単な説明】
【００７５】
【図１】第１実施形態の画像処理プログラムのフローチャートである。
【図２】本発明の適用例として示す培養観察システムの概要構成図である。
【図３】上記培養観察システムのブロック図である。
【図４】従来の位置補正を説明するため顕微観察像を模式的に示した模式図である。
【図５】画像処理装置の概要構成を示すブロック図である。
【図６】細胞に外圧が作用している状況を模式的に示す平面図及び断面図である。
【図７】第２実施形態の画像処理プログラムのフローチャートである。
【図８】第３実施形態の画像処理プログラムのフローチャートである。
【符号の説明】
【００７６】
ＢＳ  培養観察システム
Ｃ１，Ｃ２  細胞（物体）
ＧＰ（ＧＰ１〜ＧＰ３）  画像処理プログラム
５５  顕微観察系（５５ｃ  撮像装置）
１００（１０１〜１０３）  画像処理装置
１１０  画像解析部
１２０  位置補正値算出部
１３０  画像間位置補正部
１４０  特徴量記憶部
１５０  モード選択スイッチ（モード選択手段）
【図１】
2009152827.tif 000003
【図２】
2009152827.tif 000004
【図３】
2009152827.tif 000005
【図４】
2009152827.tif 000006
【図５】
2009152827.tif 000007
【図６】
2009152827.tif 000008
【図７】
2009152827.tif 000009
【図８】
2009152827.tif 000010