(57)【要約】【課題】観察試料と背景との境界部分に生じるアーティファクトによる微細構造に対する解像力の低下を抑制可能な画像処理技術を提供する。【解決手段】画像処理方法は、高周波強調処理（ステップＳ１）と、微細構造強調処理（Ｓ２）と、補正画像生成処理（ステップＳ３）を含む。高周波強調処理では、顕微鏡画像の高周波成分を低周波成分に対して相対的に強調した高周波強調画像を生成する。微細構造強調処理では、顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成する。補正画像生成処理では、高周波強調画像と微細構造強調画像を合成した補正画像を生成する。【選択図】図５
2020187160.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成することと、
前記２つの画像を合成した補正画像を生成することと、を含む
ことを特徴とする画像処理方法。
【請求項２】
請求項１に記載の画像処理方法において、
前記２つの画像を生成することは、
前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成することと、
前記顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成することと、を含む
ことを特徴とする画像処理方法。
【請求項３】
請求項２に記載の画像処理方法において、
前記高周波強調画像を生成することは、
異方性を有する、互いに異なる複数のフィルタを決定することと、
前記複数のフィルタの各々を前記顕微鏡画像に適用することで複数のフィルタ画像を生成することと、
少なくとも前記複数のフィルタ画像に基づく投影処理を行うことによって前記高周波強調画像を生成することと、を含む
ことを特徴する画像処理方法。
【請求項４】
請求項２に記載の画像処理方法において、
前記高周波強調画像を生成することは、
異方性を有する、互いに異なる複数のフィルタを決定することと、
前記複数のフィルタの各々を前記顕微鏡画像に適用することで複数のフィルタ画像を生成することと、
少なくとも前記複数のフィルタ画像に基づく第１の投影処理を行うことによって第１の高周波強調画像を生成することと、
少なくとも前記複数のフィルタ画像に基づく第２の投影処理を行うことによって第２の高周波強調画像を生成することと、を含み、
前記第２の投影処理は、前記第１の投影処理とは異なり、
前記高周波強調画像は、前記第１の高周波強調画像と前記第２の高周波強調画像を含む
ことを特徴する画像処理方法。
【請求項５】
請求項３又は請求項４に記載の画像処理方法において、
前記複数のフィルタは、前記顕微鏡画像を生成する顕微鏡装置の特性に基づいて決定される
ことを特徴する画像処理方法。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の画像処理方法において、
前記顕微鏡画像は、位相差顕微鏡で取得した位相差画像である
ことを特徴とする画像処理方法。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の画像処理方法において、さらに、
前記顕微鏡画像と前記補正画像に基づいて、前記補正画像に含まれるアーティファクトの軽減率を算出することと、
前記軽減率に基づいて、前記アーティファクトが軽減されたか否かを判定することと、
前記アーティファクトが軽減されていないと判定した場合に、前記２つの画像を生成する処理で用いられるパラメータの少なくとも一つを変更して前記補正画像を再生成する
ことを特徴とする画像処理方法。
【請求項８】
顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成し、
前記２つの画像を合成した補正画像を生成する
処理をコンピュータに実行させることを特徴とするプログラム。
【請求項９】
顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、
前記２つの画像を合成した補正画像を生成する補正画像生成部と、を含む
ことを特徴とする画像処理装置。
【請求項１０】
請求項９に記載の画像処理装置と、
前記補正画像を表示する表示装置と、を含む
ことを特徴とする画像処理システム。
【請求項１１】
請求項１０に記載に画像処理システムにおいて、さらに、
前記画像処理装置は、前記表示装置に、前記補正画像と前記顕微鏡画像とを重ねて又は並べて表示させる
ことを特徴とする画像処理システム。
【請求項１２】
請求項９に記載の画像処理装置と、
前記顕微鏡画像を取得する顕微鏡装置と、を含む
ことを特徴とする顕微鏡システム。
【請求項１３】
請求項１２に記載に顕微鏡システムにおいて、
前記顕微鏡装置は、前記顕微鏡画像として位相差画像を取得する位相差顕微鏡を含む
ことを特徴とする顕微鏡システム。
【請求項１４】
請求項１３に記載に顕微鏡システムにおいて、
前記顕微鏡装置は、蛍光画像を取得する蛍光顕微鏡を含む
ことを特徴とする顕微鏡システム。
【請求項１５】
請求項１４に記載に顕微鏡システムにおいて、さらに、
表示装置を備え、
前記画像処理装置は、前記表示装置に、前記蛍光画像と前記補正画像とを重ねて又は並べて表示させる
ことを特徴とする顕微鏡システム。
【請求項１６】
顕微鏡画像を取得する顕微鏡装置と、
前記顕微鏡装置で取得した前記顕微鏡画像から補正画像を生成する画像処理装置と、
前記画像処理装置が生成した前記補正画像を表示する表示装置と、
前記画像処理装置に利用者の操作に応じた情報を入力する入力装置と、を備え、
前記画像処理装置は、前記入力装置が前記顕微鏡画像に生じたアーティファクトの軽減を指示する情報を入力した場合に、
前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成する
ことを特徴とする顕微鏡システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書の開示は、画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システムに関する。
【背景技術】
【０００２】
近年、培養細胞の検査分野において、位相差観察や偏斜照明を用いた明視野観察といった、染色を必要としない無染色イメージングが注目されている。しかしながら、位相差画像や偏斜照明で取得した明視野画像では、観察試料と背景との境界部分にアーティファクトが生じることがある。境界部分にアーティファクトが生じると、観察者が観察試料の微細構造を誤認する虞がある。そのため、アーティファクトを低減する様々な技術が従来から提案されている。
【０００３】
特許文献１には、位相膜の分光透過率特性を調整することで、アーティファクトの一例であるハローを軽減する位相差観察装置が記載されている。また、非特許文献１には、画像処理によってハローを軽減する技術が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００−３４７１０５号公報
【非特許文献】
【０００５】
【非特許文献１】MIKHAIL E. KANDEL, MICHAEL FANOUS, CATHERINE BEST-POPESCU, ANDGABRIEL POPESCU、“Real-time halo correction in phasecontrast imaging”、 BIOMEDICAL OPTICS EXPRESS 2018年2月1日、p.623-635
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１に記載される、画像処理によってアーティファクトを軽減する技術は、装置の構成を変更することなくアーティファクトを軽減可能であるという点で優れている。しかしながら、その軽減効果は限定的であるため、アーティファクトによる微細構造に対する解像力の低下を抑制可能な新たな画像処理技術が求められている。
【０００７】
以上のような実情を踏まえ、本発明の一側面に係る目的は、観察試料と背景との境界部分に生じるアーティファクトによる微細構造に対する解像力の低下を抑制可能な画像処理技術を提供することである。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る画像処理方法は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成することと、前記２つの画像を合成した補正画像を生成することと、を含む。
【０００９】
本発明の一態様に係るプログラムは、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成し、前記２つの画像を合成した補正画像を生成する処理をコンピュータに実行させる。
【００１０】
本発明の一態様に係る画像処理装置は、顕微鏡画像に２つの画像強調処理を行うことに
より２つの画像を生成する画像強調処理部と、前記２つの画像を合成した補正画像を生成する補正画像生成部と、微細構造強調部を含む。
【００１１】
本発明の一態様に係る画像処理システムは、画像処理装置と、前記補正画像を表示する表示装置と、を含む。画像処理装置は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、前記２つの画像を合成した補正画像を生成する補正画像生成部と、を含む。
【００１２】
本発明の一態様に係る顕微鏡システムは、画像処理装置と、前記顕微鏡画像を取得する顕微鏡装置と、を含む。画像処理装置は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する画像強調処理部と、前記２つの画像を合成した補正画像を生成する補正画像生成部と、を含む。
【００１３】
本発明の別の態様に係る顕微鏡システムは、顕微鏡画像を取得する顕微鏡装置と、前記顕微鏡装置で取得した前記顕微鏡画像から補正画像を生成する画像処理装置と、前記画像処理装置が生成した前記補正画像を表示する表示装置と、前記画像処理装置に利用者に操作に応じた情報を入力する入力装置と、を備え、前記画像処理装置は、前記入力装置が前記顕微鏡画像に生じたアーティファクトの軽減を指示する情報を入力した場合に、前記顕微鏡画像の高周波成分を前記高周波成分よりも低い周波数成分である前記顕微鏡画像の低周波成分に対して相対的に強調した高周波強調画像を生成する。
【発明の効果】
【００１４】
上記の態様によれば、観察試料と背景との境界部分に生じるアーティファクトによる微細構造に対する解像力の低下を抑制可能な画像処理技術を提供することができる。
【図面の簡単な説明】
【００１５】
【図１】顕微鏡システム１の構成の一例を示した図である。
【図２】画像処理装置２０の物理構成の一例を示した図である。
【図３】画像処理装置２０の機能構成の一例を示した図である。
【図４】画像処理の効果を説明するための図である。
【図５】画像処理装置２０が行う処理のフローチャートの一例である。
【図６】高周波強調処理のフローチャートの一例である。
【図７】高周波強調処理で用いられる複数のフィルタの一例を示した図である。
【図８】高周波強調処理で用いられる複数のフィルタの別の例を示した図である。
【図９】高周波強調処理で用いられる複数のフィルタの更に別の例を示した図である。
【図１０】観察試料の構造とアーティファクトが生じている画像の画素値との関係の例示した図である。
【図１１】補正画像を表示した画面の一例を示した図である。
【図１２】補正画像を表示した画面の別の例を示した図である。
【図１３】高周波強調処理のフローチャートの別の例である。
【図１４】画像処理装置２０が行う処理のフローチャートの別の例である。
【図１５】画像処理装置２０が行う処理のフローチャートの更に別の例である。
【図１６】補正画像を表示した画面の更に別の例を示した図である。
【図１７】補正画像を表示した画面の更に別の例を示した図である。
【発明を実施するための形態】
【００１６】
［第１の実施形態］
図１は、顕微鏡システム１の構成の一例を示した図である。図２は、画像処理装置２０の物理構成の一例を示した図である。以下、図１及び図２を参照しながら、顕微鏡システ
ム１の構成について説明する。
【００１７】
顕微鏡システム１は、画像処理装置２０を備える画像処理システムであり、図１に示すように、顕微鏡装置１０と、画像処理装置２０とを備えている。顕微鏡システム１は、さらに、表示装置３０と、入力装置（キーボード４１、マウス４２）を備えてもよい。
【００１８】
顕微鏡装置１０は、顕微鏡画像を取得する。顕微鏡装置１０は、例えば、デジタルカメラ１１と、蛍光フィルタキューブ１２と、ターレット１３と、対物レンズ（位相差対物レンズ１４、対物レンズ１５）と、ステージ１６と、位相差コンデンサ１７と、光源（光源１８、光源１９）を備えている。
【００１９】
デジタルカメラ１１は、例えば、入射した観察光を電気信号に変換するイメージセンサを含んでいる。イメージセンサは、例えば、ＣＣＤ（Charge Coupled Device）イメージ
センサ、ＣＭＯＳ（ComplementaryMetal Oxide Semiconductor）イメージセンサなどであり、二次元イメージセンサである。デジタルカメラ１１は、カラーカメラであってもよい。デジタルカメラ１１は、観察試料である標本Ｓを撮影して、顕微鏡画像を取得する。デジタルカメラ１１が取得した顕微鏡画像は、デジタルカメラ１１から画像処理装置２０へ出力される。
【００２０】
蛍光フィルタキューブ１２は、例えば、ダイクロイックミラー、励起フィルタ、吸収フィルタを含んでいる。蛍光フィルタキューブ１２は、ターレット１３に配置されていて、光路に対して挿脱自在である。顕微鏡装置１０が蛍光画像を取得する場合には蛍光フィルタキューブ１２は光路上に配置されている。顕微鏡装置１０が位相差画像を取得する場合には蛍光フィルタキューブ１２は光路外に配置される。
【００２１】
位相差対物レンズ１４及び対物レンズ１５は、レボルバに装着された顕微鏡対物レンズであり、観察法に応じて切り替えて使用される。位相差対物レンズ１４は、位相差画像を取得する場合に使用される対物レンズである。位相差対物レンズ１４は、直接光と回折光に位相差を与えるための位相膜が位相差対物レンズ１４内部の瞳位置に設けられている。対物レンズ１５は、蛍光画像を取得する場合に使用される対物レンズである。
【００２２】
ステージ１６には、標本Ｓが配置される。ステージ１６は、電動ステージであっても手動ステージであってもよい。位相差コンデンサ１７は、位相差画像を取得する場合に使用されるコンデンサである。位相差コンデンサ１７は、位相差対物レンズ１４内部に設けられた位相膜と光学的に共役な位置に、リングスリットを備えている。
【００２３】
光源１８と光源１９は、例えば、水銀ランプ、キセノンランプ、LED光源などである。
光源１８と光源１９は、観察法に応じて切り替えて使用される。光源１８は、位相差画像を取得する場合に使用される光源である。光源１８は、光源１８から出射した光で標本Ｓを透過照明する。光源１９は、蛍光画像を取得する場合に使用される光源である。光源１９は、光源１９から出射した光で標本Ｓを落射照明する。
【００２４】
顕微鏡装置１０は、位相差画像と蛍光画像の両方を顕微鏡画像として取得可能である。顕微鏡装置１０は、使用する光学素子（光源、対物レンズなど）を切り替えることで、位相差画像と蛍光画像のどちらを取得するかを選択することができる。即ち、顕微鏡装置１０は、顕微鏡画像として位相差画像を取得する位相差顕微鏡を含み、且つ、顕微鏡画像として蛍光画像を取得する蛍光顕微鏡を含む。
【００２５】
画像処理装置２０は、顕微鏡装置１０から出力された顕微鏡画像を処理する。顕微鏡画像が位相差画像である場合には、画像処理装置２０は、標本Ｓと背景との境界部分に生じ
るハローを抑制する画像処理を行う。そして、画像処理装置２０は、画像処理の結果として、ハローが抑制された画像（以降、補正画像と記す。）を生成する。
【００２６】
画像処理装置２０は、例えば、標準的なコンピュータである。画像処理装置２０は、図２に示すように、プロセッサ２１、メモリ２２、補助記憶装置２３、可搬記憶媒体２７を駆動する媒体駆動装置２４、Ｉ／Ｏインタフェース２５を備える。これらの構成要素はバス２６によって相互に接続されている。
【００２７】
プロセッサ２１は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（GraphicsProcessing Unit）などを含む任意の処理回路である。プロセッサ２１は、補助記憶装置２３又は可搬記憶媒体２７に格納されているプログラムをメモリ２２に展開して実行することでプログラムされた処理を行う。プロセッサ２１は、プログラムを実行してプログラムされた処理を行う。これにより、後述する図３に示す画像処理装置２０の機能的構成要素（高周波強調部５１、微細構造強調部５２、補正画像生成部５３）として機能する。
【００２８】
メモリ２２は、例えば、ＲＡＭ（Random Access Memory）である。メモリ２２は、プログラムの実行の際に、補助記憶装置２３又は可搬記憶媒体２７に格納されているプログラムまたはデータを記憶するワークメモリとして機能する。補助記憶装置２３は、例えば、ハードディスク、フラッシュメモリである。補助記憶装置２３は、主に各種データ及びプログラムの格納に用いられる。媒体駆動装置２４は、光ディスク、コンパクトフラッシュ（登録商標）等の可搬記憶媒体２７を収容するものである。補助記憶装置２３と可搬記憶媒体２７は、それぞれプログラムを記憶した非一過性のコンピュータ読取可能記憶媒体の一例である。  
【００２９】
Ｉ／Ｏ（Input/Output）インタフェース２５は、例えば、ＵＳＢ（UniversalSerial Bus）インタフェース回路、ＨＤＭＩ（登録商標）（High-Definition MultimediaInterface）回路などである。Ｉ／Ｏインタフェース２３には、例えば、顕微鏡装置１０、表示装置３０、及び入力装置（キーボード４１、マウス４２）が接続されている。
【００３０】
なお、画像処理装置２０は、図示しないＮＷ（Network）インタフェースを備えてもよ
い。ＮＷインタフェースは、例えば、無線通信モジュールであってもよく、ＬＡＮ（Local Area Network）カードなどであってもよい。画像処理装置２０は、ＮＷインタフェースを経由して顕微鏡システム１の外部の装置からデータを受信してもよい。また、画像処理装置２０は、ＮＷインタフェースを経由して顕微鏡システム１で取得したデータを外部の装置へ送信しても良い。
【００３１】
なお、図２に示す構成は、画像処理装置２０のハードウェア構成の一例である。画像処理装置２０はこの構成に限定されるものではない。画像処理装置２０は、汎用装置ではなく専用装置であってもよい。例えば、ソフトウェアプログラムを読み込んで実行するプロセッサ２１の代わりに又は加えて、専用設計の電気回路を備えてもよい。
【００３２】
表示装置３０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイなどである。入力装置（キーボード４１、マウス４２）は、顕微鏡システム１の利用者が直接操作する装置である。入力装置（キーボード４１、マウス４２）は、利用者の操作に応じた情報を画像処理装置２０に入力する。顕微鏡システム１は、キーボード、マウスに加えて又は代わりに、他の入力装置、例えば、ジョイスティック、タッチパネルなどを含んでもよい。
【００３３】
図３は、画像処理装置２０の機能構成の一例を示した図である。図４は、画像処理の効果を説明するための図である。画像処理装置２０は、図３に示すように、画像強調部５０
と、補正画像生成部５３と、を備えている。画像強調部５０は、高周波強調部５１と微細構造強調部５２を含んでいる。
【００３４】
画像強調部５０は、顕微鏡画像に２つの画像強調処理を行うことにより２つの画像を生成する。高周波強調部５１は、顕微鏡画像の高周波成分をその高周波成分よりも低い周波数成分である低周波成分に対して相対的に強調した高周波強調画像を生成する。“高周波成分を低周波成分に対して相対的に強調する”とは、低周波成分を維持したまま高周波成分を強めることであってもよく、高周波成分を維持したまま低周波成分を弱めることであってもよく、低周波成分を弱めて且つ高周波成分を強めることであってもよい。なお、顕微鏡画像は、例えば、顕微鏡装置１０で取得された位相差画像である。また、周波数は、空間周波数のことである。図４（ａ）に示す画像３００ａは、位相差画像の模式図である。画像３００ａには、細胞Ｃの周りにはハローによって暗い部分ができていることが示されている。
【００３５】
位相差画像のアーティファクトであるハローの周波数成分は広い帯域に分布しているが、ハローは比較的低い周波数成分を多く含んでいる。このため、ハローの主要な周波数成分が低周波成分に含まれるように、高周波強調部５１が低周波成分及び高周波成分を選択する。このことで、顕微鏡装置１０で取得した位相差画像に比べてハローが目立たない高周波強調画像を得ることができる。即ち、高周波強調部５１が行う高周波強調処理は、ハローを抑制する効果を有している。図４（ｂ）に、高周波強調部５１から出力される画像３００ｂの模式図を示す。画像３００ｂでは、画像３００ａと比較して細胞Ｃの周りに有ったハローが低減されているが、高周波強調部５１での処理により細胞Ｃ内の小器官等の微細構造が把握しづらくなっている。これは、高周波強調処理によって微細構造の情報が失われてしまうからである。高周波成分と低周波成分との境界周波数を高く設定してハローに含まれるより広い範囲の周波数成分を軽減しようとするほど、微細構造の情報はより多く失われてしまう。
【００３６】
微細構造強調部５２は、顕微鏡画像に含まれる観察試料の微細構造を強調した微細構造強調画像を生成する。“観察試料の微細構造”とは、例えば細胞内にある細胞小器官等による微細構造のことである。“微細構造を強調する”とは、少なくとも微細構造を抽出することであり、微細構造のみを抽出することであってもよい。
【００３７】
微細構造強調部５２が行う微細構造強調処理は、微細構造を抽出する処理であるので、微細構造強調処理を行うことで、高周波強調画像を生成する際に失われる微細構造の情報を予め保存することができる。図４（ｃ）に、微細構造強調部５２から出力される画像３００ｃの模式図を示す。画像３００ｃは、主に細胞Ｃ内の小器官などの微細構造が抽出された画像となっている。
【００３８】
補正画像生成部５３は、２つの画像を合成した補正画像を生成する。具体的には、補正画像生成部５３は、高周波強調画像と微細構造強調画像を合成した補正画像を生成する。“画像を合成する”とは、重み付けした高周波強調画像と微細構造強調画像とを画素毎に加算して１枚の画像を生成することをいう。“重み付け”には、高周波強調画像に乗じる重み係数と微細構造強調画像に乗じる重み係数が同じ場合も含まれる。なお、高周波強調画像を生成することと微細構造強調画像を生成することは、ともに画像強調処理により画像を生成することである。
【００３９】
高周波強調画像に微細構造強調画像が加算されることで、ハローそのものが抑制される。それとともに高周波強調画像を生成する際に失われた微細構造も復元される。従って、図３に示す画像処理装置２０によれば、画像処理によって、観察試料と背景との境界部分に生じるアーティファクトを抑制することができる。このため、アーティファクトによる
微細構造に対する解像力の低下を抑制することができる。また、アーティファクト軽減に伴う解像力の低下も回避することができる。従って、解像力を維持したままアーティファクトを低減することができる。図４（ｄ）に、補正画像生成部５３から出力される画像３００ｄの模式図を示す。図４（ｂ）の画像３００ｂと図４（ｃ）の画像３００ｃが足し合わされているため、細胞Ｃの周りのハローが低減され、且つ、細胞Ｃ内の微細構造が復元された画像となっている。
【００４０】
図５は、画像処理装置２０が行う処理のフローチャートの一例である。図６は、高周波強調処理のフローチャートの一例である。図７から図９は、高周波強調処理で用いられる複数のフィルタの例示した図である。図１０は、観察試料の構造とアーティファクトが生じている画像の画素値との関係の例示した図である。図１１及び図１２は、補正画像を表示した画面の例示した図である。以下、図５から図１２を参照しながら、顕微鏡装置１０が位相差画像を取得する場合を例にして、顕微鏡システム１が行う処理について詳細に説明する。
【００４１】
図５の処理は、画像処理装置２０が行う画像処理方法の一例である。例えば、顕微鏡システム１の利用者が入力装置を操作し、プロセッサ２１が所定のアプリケーションプログラムを実行することで開始される。なお、図５に示す処理は、高周波強調部５１で行われる高周波強調処理（ステップＳ１）と、微細構造強調部５２で行われる微細構造強調処理（ステップＳ２）と、補正画像生成部５３で行われる補正画像生成処理（ステップＳ３）と、図示しない表示制御部で行われる表示制御処理（ステップＳ４）を含んでいる。なお、ステップＳ１とステップＳ２の処理は、時間的に並列に行われてもよい。また、ステップＳ２の処理が行われた後にステップＳ１の処理が行われてもよい。
【００４２】
画像処理装置２０は、ステップＳ１において高周波強調処理を開始すると、図６に示すように、まず、複数のフィルタを決定する（ステップＳ１１）。複数のフィルタの各々は、顕微鏡画像の高周波成分を低周波成分に対して相対的に強調する処理に用いられるフィルタである。これは、例えば、ハイパスフィルタ（ＨＰＦ）である。複数のフィルタは、異方性を有していることが望ましく、互いに異なっていることが望ましい。特に、複数のフィルタの基準となる方向が、互いに異なることが望ましい。換言すると、複数のフィルタは、互い異なる方向に対して指向性を有することが望ましい。これは、境界部分に生じるアーティファクト（ハロー）は境界形状に応じた方向に生じるからである。複数のフィルタが互い異なる方向に対して指向性を有することで、画像処理装置２０は、様々な境界形状で生じるアーティファクトに対処することが可能となる。
【００４３】
複数のフィルタにおける高周波成分と低周波成分を区画する境界周波数は、顕微鏡装置１０の特性、特に分解能に関する特性に応じて設計されていることが望ましい。このため、画像処理装置２０は、複数のフィルタを決定するときに、複数のフィルタの境界周波数を、例えば、顕微鏡装置１０のデジタルカメラ１１の画素ピッチに依存するナイキスト周波数に応じて決定してもよい。また、顕微鏡装置１０の位相差対物レンズ１４の開口数に依存するカットオフ周波数に応じて決定してもよい。その上で、画像処理装置２０は、決定した境界周波数を有するフィルタを高周波強調処理で使用するフィルタとして決定してもよい。また、境界周波数を例えば、ナイキスト周波数の半分としてもよく、カットオフ周波数の半分としてもよい。さらに、観察対象を観察するときの倍率によっても周波数が変化する。そのため、例えば、画像をフーリエ変換して周波数分布を求め、周波数分布のピークとなる周波数を境界周波数としてもよい。
【００４４】
複数のフィルタは、例えば、図７から図９に示すような、顕微鏡画像をフーリエ変換した画像に適用する周波数空間フィルタであってもよい。また、複数のフィルタは、顕微鏡画像に直接適用する実空間フィルタ（即ち、コンボリューション核又はカーネル）であっ
てもよい。周波数空間フィルタと実空間フィルタのどちらを使用するかは、フーリエ変換に要する時間などを考慮して決定してもよい。
【００４５】
なお、図７、図８、図９に示すｆｘ、ｆｙは、それぞれ、ｘ方向の周波数、ｙ方向の周波数を示している。また、図７、図８、図９の白い領域と黒い領域は、それぞれ、周波数成分を透過する領域と遮断する又は減衰させる領域を示している。複数のフィルタは、図７に示すように、フィルタＦ１、ファイルＦ２、フィルタＦ３の組み合わせであることが望ましい。又は、それらは、図８に示すように、フィルタＦ１１、ファイルＦ１２、フィルタＦ１３の組み合わせであってもよい。つまり、複数のフィルタは、３つ以上のフィルタであることが望ましい。ただし、複数のフィルタは、図９に示すように、それぞれが２方向以上に指向性を有する場合には、２つのフィルタ（フィルタＦ２１、フィルタＦ２２の組み合わせ）であってもよい。
【００４６】
さらに、複数のフィルタは、ウェーブレット変換や離散コサイン変換などの他の変換によって符号化された情報に適用されるものであってもよい。
【００４７】
複数のフィルタが決定されると、画像処理装置２０は、複数のフィルタの中から選択したフィルタを適用することでフィルタ画像を生成する（ステップＳ１２）。ここでは、フィルタが実空間フィルタの場合には、顕微鏡画像にそのフィルタを適用することで、フィルタ画像を生成する。また、フィルタが周波数空間フィルタの場合には、顕微鏡画像をフーリエ変換した画像にそのフィルタを適用する。そして、その結果を逆フーリエ変換することで、フィルタ画像を生成する。なお、画像処理装置２０は、顕微鏡画像に複数のフィルタを適用することで１つのフィルタ画像を生成してもよい。
【００４８】
さらに、画像処理装置２０は、全てのフィルタを適用したかを判定し（ステップＳ１３）、ステップＳ１１で決定した複数のフィルタ全てが適用されるまでステップＳ１２及びステップＳ１３を繰り返す。これにより、複数のフィルタ画像、より厳密には、複数のフィルタと同数である複数のフィルタ画像が生成される。
【００４９】
複数のフィルタ画像が生成されると、画像処理装置２０は、投影処理を行って高周波強調画像を生成する（ステップＳ１４）。ここでは、画像処理装置２０は、複数のフィルタ画像に基づく投影処理を行うことにより高周波強調画像を生成する。複数のフィルタ画像に基づく投影処理は、複数のフィルタ画像の互いに対応する複数の画素から１つの画素を生成することによって１枚の画像を生成する処理のことをいう。ここでは、生成される１枚の画像は高周波強調画像である。
【００５０】
複数のフィルタ画像に基づく投影処理は、複数のフィルタ画像を画素毎に加算することで１枚の画像を生成する処理であってもよく、複数のフィルタ画像を画素毎に重み付きで加算することで１枚の画像を生成する処理であってもよい。また、複数のフィルタ画像から画素毎に統計値（最大値、最小値、中央値、最頻値）を抽出することで１枚の画像を生成する処理であってもよい。例えば、画素毎に抽出した最大値を画素値として画像を構成することで、ハローのアンダーシュート（図１０における領域Ｒ２）を十分に抑制することができる。また、画素毎に抽出した最小値を画素値として画像を構成することで、ハローのオーバーシュート（図１０における領域Ｒ１）を十分に抑制することができる。なお、アンダーシュートとは、エッジ部分において実際の構造に対応する輝度よりも低い輝度が検出される事象をいう。オーバーシュートとは、エッジ部分において実際の構造に対応する輝度よりも高い輝度が検出される事象をいう。
【００５１】
このように、図６に示す高周波強調処理では、互いに異なる方向に指向性を有する複数のフィルタによって得られた複数のフィルタ画像を投影処理する。このことで、任意の方
向に生じるハロー（アーティファクト）を軽減することができる。なお、ステップＳ１４では、複数のフィルタ画像に加えて顕微鏡画像を投影処理の対象としてもよい。即ち、画像処理装置２０は、少なくとも複数のフィルタ画像に基づく投影処理を行うことによって高周波強調画像を生成すればよい。
【００５２】
高周波強調処理が終了すると、画像処理装置２０は、微細構造強調処理を行う（ステップＳ２）。微細構造強調処理は、差分型のエッジ抽出処理であってもよく、零交差型のエッジ抽出処理であってもよい。差分型のエッジ抽出処理は、例えば、顕微鏡画像と顕微鏡画像を画素シフトした画像の差分演算であってもよい。画素シフト量は０より大きければ１画素未満でもよく、シフト方向も特に限定しない。また、差分型のエッジ抽出処理は、例えば、微分フィルタ、Robertsフィルタ、Sobelフィルタ、Prewittフィルタなどの１次
微分フィルタを用いた行列計算であってもよい。零交差型のエッジ抽出処理は、例えば、ラプラシアンフィルタなどの２微分フィルタを用いた行列計算であってもよい。なお、エッジ抽出処理では、差分型のエッジ抽出処理、零交差型のエッジ抽出処理のいずれの場合であっても、方向を変えて複数回繰り返し行うことで、任意の方向のエッジを抽出することが望ましい。また、標本Ｓの構造が一定の方向にのみ変化する場合には、その一定の方向に応じて微細構造強調処理で使用するフィルタを選択してもよい。
【００５３】
微細構造強調処理によって微細構造強調画像が生成されると、画像処理装置２０は、補正画像生成処理を行う（ステップＳ３）。ここでは、画像処理装置２０は、高周波強調画像と微細構造強調画像を合成して補正画像を生成する。より具体的には、画像処理装置２０は、高周波強調画像と微細構造強調画像を加算してもよく、高周波強調画像と微細構造強調画像を重み付けして加算してもよい。
【００５４】
補正画像が生成されると、画像処理装置２０は、表示制御処理を行う（ステップＳ４）。ここでは、補正画像生成処理によって補正画像が生成されると、画像処理装置２０は、補正画像を表示装置３０に表示させる。画像処理装置２０は、表示装置３０に、補正画像のみを表示させてもよく、補正画像に加えて補正前の画像（顕微鏡画像）を表示させてもよい。画像処理装置２０は、例えば、図１１に示すように、補正前後の画像（画像３０３、画像３０４）を並べて表示させてもよい。これにより、ハロー軽減効果と微細構造の復元効果を容易に確認することができる。また、画像処理装置２０は、例えば、図１２に示すように、補正前後の画像を重ねて１枚の画像３０５として表示させてもよい。これにより、補正によって画像に位置ずれが生じたか否かを確認することができる。なお、補正前後の画像を異なる色で表示することでさらに容易に位置ずれの有無を確認することができる。
【００５５】
なお、図１１及び図１２は、全体画像３０１中の注目領域３０２の補正画像を表示する例を示している。このように顕微鏡装置１０で取得した画像の一部分に対して画像処理を行うことで、より早期に画像処理結果を得ることが可能となる。
【００５６】
［第２の実施形態］
図１３は、高周波強調処理のフローチャートの一例である。本実施形態では、画像処理装置２０は、図６に示す高周波強調処理の代わりに、図１３に示す高周波強調処理を行う。
【００５７】
画像処理装置２０は、図１３に示す高周波強調処理を開始すると、複数のフィルタを決定し（ステップＳ２１）、その複数のフィルタを用いて複数のフィルタ画像を生成する（ステップＳ２２、ステップＳ２３）。ステップＳ２１からステップＳ２３の処理は、図６のステップＳ１からステップＳ３の処理と同様である。
【００５８】
その後、画像処理装置２０は、少なくとも複数のフィルタ画像に基づく第１の投影処理を行うことによって第１の高周波強調画像を生成する（ステップＳ２４）。この処理は、例えば、図６のステップＳ４と同じであってもよい。
【００５９】
さらに、画像処理装置２０は、少なくとも複数のフィルタ画像に基づく第２の投影処理を行うことによって第２の高周波強調画像を生成する（ステップＳ２５）。ここで、第２の投影処理は、第１の投影処理とは異なる処理であればよい。
【００６０】
なお、第１の投影処理が、複数のフィルタ画像から画素毎に最大値を抽出することで第１の高周波強調画像を生成する処理の場合には、第２の投影処理は、複数のフィルタ画像から画素毎に最小値を抽出することで第２の高周波強調画像を生成する処理であることが望ましい。これにより、高周波強調画像である第１の高周波強調画像及び第２の高周波強調画像がその後微細構造強調画像に合成されることになる。このため、本実施形態では、画像処理装置２０によってアンダーシュートとオーバーシュートの両方を軽減した補正画像を得ることが可能となる。従って、第１の実施形態と比較して、観察試料と背景との境界部分に生じるハローによる微細構造に対する解像力の低下をさらに抑制することができる。
【００６１】
［第３の実施形態］
図１４は、本実施形態において画像処理装置２０が行う処理のフローチャートの一例である。画像処理装置２０は、図１４に示す処理が開始されると、高周波強調処理、微細構造強調処理、補正画像生成処理、表示制御処理を行う（ステップＳ３１からステップＳ３４）。これらの処理は、図５のステップＳ１からステップＳ４の処理と同様である。
【００６２】
本実施形態では、画像処理装置２０は、表示制御処理後に、軽減率算出処理を行う（ステップＳ３５）。ここでは、画像処理装置２０は、顕微鏡画像と補正画像に基づいて、補正画像に含まれるハローの軽減率を算出する。より具体的には、画像処理装置２０は、例えば、顕微鏡画像と補正画像から境界部分近傍の画像を抽出して比較することで、ハローの軽減率を算出してもよい。境界部分近傍は、例えば、微細構造強調画像を用いて特定してもよい。なお、軽減率は、例えば、以下のように算出可能である。図１０の左側の輝度が高い部分を観察試料内とし、輝度が低い部分を背景部分として説明する。画像処理前の観察試料内の平均輝度からハローによって上振れしたオーバーシュート部分の最大輝度までの輝度差をオーバーシュート量Ａとする。画像処理前の背景部分の平均輝度から下振れしたアンダーシュート部分の最小輝度までの輝度差をアンダーシュート量Ｂとする。図１４のステップＳ３１からステップＳ３３までの画像処理によってハローが軽減された場合のオーバーシュート量をＡ´とし、アンダーシュート量をＢ´とする。このとき、軽減率は、（（Ａ＋Ｂ）−（Ａ´＋Ｂ´））／（Ａ＋Ｂ）で表される。なお、オーバーシュートのみの軽減率は（Ａ−Ａ´）／Ａと表すことができ、アンダーシュートのみの軽減率は（Ｂ−Ｂ´）／Ｂと表すことができる。
【００６３】
画像処理装置２０は、軽減率に基づいて、ハローが軽減されたか否かを判定する（ステップＳ３５）。この判定は、例えば、軽減率と予め決められた閾値又は閾値範囲とを比較することによって行われてもよい。ステップＳ３５でハローが軽減されたと判定した場合には、画像処理装置２０は、図１４に示す処理を終了する。
【００６４】
画像処理装置２０は、ステップＳ３５でハローが軽減されていないと判定した場合には（ステップＳ３６ＮＯ）、画像処理装置２０は、画像処理のパラメータを調整する（ステップＳ３７）。その後、ステップＳ３１からステップＳ３６の処理を繰り返す。パラメータの調整は、利用者の入力に基づいて画像処理装置２０が行ってもよく、利用者の入力なしで画像処理装置２０が行ってもよい。調整対象の画像処理のパラメータは、高周波強調
処理で用いられるパラメータ、微細構造強調処理で用いられるパラメータ、及び、補正画像生成処理で用いられるパラメータを含んでいる。画像処理装置２０は、これらのパラメータの少なくとも１つを変更する。
【００６５】
高周波強調処理で用いられるパラメータは、例えば、ハイパスフィルタのフィルタ係数を算出するときに使用される窓関数、ハイパスフィルタのカットオフ周波数などである。また、微細構造強調処理で用いられるパラメータは、例えば、画素シフト量、画素シフト方向などである。また、補正画像生成処理で用いられるパラメータは、例えば、重み係数などである。なお、パラメータは、上記の例に限らない。また、繰り返し処理の途中から新たなパラメータを導入してもよい。
【００６６】
本実施形態では、画像処理装置２０は、ハローが軽減されていないと判定した場合には、パラメータを調整して補正画像を再生する。そして、ハローが軽減されたと判定するまで処理が繰り返し行われる。従って、ハローをより確実に軽減することができる。
【００６７】
上述した実施形態は、発明の理解を容易にするための具体例を示したものであり、本発明の実施形態はこれらに限定されるものではない。上述した実施形態の一部を他の実施形態に適用して本発明の更に別の実施形態を構成してもよい。画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
【００６８】
上述した実施形態では、高周波強調処理でアーティファクトそのものを軽減し、さらに、微細構造強調処理で保存した微細構造を付加することで、アーティファクトによる微細構造に対する解像力の低下を抑制する例を示した。しかしながら、高周波強調処理によって微細構造の情報が失われない場合には、図１５に示すように、微細構造強調処理を省略してもよい。この場合も、例えば、第２の実施形態に示すように、高周波強調処理が複数の投影処理を含む場合に、微細構造に対する解像力の低下をさらに抑制することができる。
【００６９】
なお、図１５には、入力装置が顕微鏡画像に生じたアーティファクトの軽減を指示する情報を画像処理装置２０に入力した場合にのみ（ステップＳ４１ＹＥＳ）、高周波強調画像を生成する例が示されている。これにより、アーティファクトの軽減が必要とされる場合にのみ画像処理を行うことができる。例えば、蛍光画像が顕微鏡画像として入力された場合には画像処理を省略することで蛍光画像を素早く表示することができる。
【００７０】
また、上述した実施形態では、画像処理装置２０が、表示装置３０に位相差画像を表示させる例を示した。しかし、画像処理装置２０は、図１６及び図１７に示すように、表示装置３０に位相差画像に加えて蛍光画像を表示させてもよい。この場合、位相差画像は補正画像であることが望ましい。これにより、利用者は、標本Ｓの構造とともに、蛍光色素で染色した部分の空間分布を確認することができる。なお、図１６は、画像処理装置２０が表示装置３０に位相差画像である補正画像（画像３０４）と蛍光画像（画像３０６）を並べて表示させた例である。図１７は、画像処理装置２０が表示装置３０に補正画像と蛍光画像とを重ねた画像３０７を表示させた例である。
【００７１】
また、上述した実施形態では、位相差画像に対して画像処理装置２０が画像処理を行う例を示した。しかし、画像処理装置２０は、位相差画像の代わりに、偏斜照明で取得した明視野画像に対して画像処理を行ってもよい。この場合も、アーティファクトによる微細構造に対する解像力の低下を抑制することができる。
【００７２】
なお、デジタルカメラ１１が単板式のカラーカメラの場合には、ＲＧＢの情報のうちの
Ｇの情報に対し、上述した画像処理を行うことが望ましい。一般的に単板式のカラーカメラでは、空間情報はＧの情報のみが用いられているからである。これにより、画像処理される前のカラー情報と画像処理された空間情報の組み合わせで、高いＳ／Ｎ比を実現することができる。また、デジタルカメラ１１が三板式のカラーカメラの場合には、ＲＧＢのそれぞれの情報に対して上述した画像処理を行ってもよい。
【符号の説明】
【００７３】
１                                          顕微鏡システム
１０                                        顕微鏡装置
１１                                        デジタルカメラ
１２                                        蛍光フィルタキューブ
１３                                        ターレット
１４                                        位相差対物レンズ
１５                                        対物レンズ
１６                                        ステージ
１７                                        位相差コンデンサ
１８，１９                                  光源
２０                                        画像処理装置
２１                                        プロセッサ
２２                                        メモリ
２３                                        補助記憶装置
２４                                        媒体駆動装置
２５                                        Ｉ／Ｏインタフェース
２６                                        バス
２７                                        可搬記憶媒体
３０                                        表示装置
４１                                        キーボード
４２                                        マウス
５０                                        画像強調部
５１                                        高周波強調部
５２                                        微細構造強調部
５３                                        補正画像生成部
３００ａ〜３００ｄ、３０１〜３０７          画像
Ｃ                                          細胞
Ｆ１〜Ｆ３、Ｆ１１〜Ｆ１３、Ｆ２１，Ｆ２２  フィルタ
Ｒ１、Ｒ２                                  領域
Ｓ                                          標本
【図１】
2020187160.tif 000003
【図２】
2020187160.tif 000004
【図３】
2020187160.tif 000005
【図４】
2020187160.tif 000006
【図５】
2020187160.tif 000007
【図６】
2020187160.tif 000008
【図７】
2020187160.tif 000009
【図８】
2020187160.tif 000010
【図９】
2020187160.tif 000011
【図１０】
2020187160.tif 000012
【図１１】
2020187160.tif 000013
【図１２】
2020187160.tif 000014
【図１３】
2020187160.tif 000015
【図１４】
2020187160.tif 000016
【図１５】
2020187160.tif 000017
【図１６】
2020187160.tif 000018
【図１７】
2020187160.tif 000019