(57)【要約】【課題】  画像に対して、リアルタイムでノイズ除去処理と孤立点除去処理とを実行することが可能な画像処理装置およびイメージング装置を提供する。【解決手段】  時間的または空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める。【選択図】        図５
2018124664.tif 000002
【特許請求の範囲】
【請求項１】
画像に対してノイズ除去および孤立点除去を行うための画像処理装置において、
可変加重平均型のフィルタを使用するとともに、
時間的または空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、
ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、
ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、
ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める、
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記可変加重平均型のフィルタは、ｋを重み関数、ｉをフレーム数、Ｉｉ  を入力画素値としたときに、下記の式により出力画素値Ｆｉ  を演算する再帰可変加重平均型のフィルタであり、
時間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、
ＡとＢとの間における重み関数ｋの値が１に近いときには、Ａの画素値とＢの画素値とに対して再帰可変加重平均を行うことによりＢの画素値を求め、
ＡとＢとの間における重み関数ｋが０に近いときには、Ｂの画素値をそのままとし、
ＡとＢとの画素値およびＢとＣとの間における重み関数ｋが０に近く、ＡとＣとの間における重み関数ｋが１に近いときには、Ａの画素値とＣの画素値とに対して再帰可変加重平均を行うことによりＢの画素値を求める、
ことを特徴とする画像処理装置。
Ｆｉ  ＝ｋ×（Ｆｉ−１  ）＋（１−ｋ）×Ｉｉ  
【請求項３】
請求項２に記載の画像処理装置において、
ａおよびｐを計数とし、σを標準偏差としたときに、下記の式により重み関数ｋを演算する画像処理装置。
【数４】
2018124664.tif 000006
【請求項４】
請求項１に記載の画像処理装置において、
前記可変加重平均型のフィルタは空間フィルタであり、
空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、
ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、
ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、
ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める、
ことを特徴とする画像処理装置。
【請求項５】
被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、
励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得するカメラと、
前記カメラにより取得した蛍光画像を画像処理して表示部に表示するための画像処理部と、
を備えるイメージング装置において、
前記画像処理部は、
可変加重平均型のフィルタを使用するとともに、
時間的または空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、
ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、
ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、
ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める、
ことを特徴とするイメージング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像に対してノイズ除去および孤立点除去を行うための画像処理装置、および、被検者に投与された蛍光色素を励起させるための励起光を被検者に向けて照射する励起用光源と、励起光が照射されることにより蛍光色素から発生した蛍光を撮影することにより蛍光画像を取得するカメラと、このカメラにより取得した蛍光画像を画像処理して表示部に表示するための画像処理部と、を備えるイメージング装置に関する。
【背景技術】
【０００２】
近赤外蛍光イメージングと呼称される手法が、外科手術における血管やリンパ管の造影に利用されている。この近赤外蛍光イメージングにおいては、蛍光色素であるインドシアニングリーン（ＩＣＧ）をインジェクタ等により被検者の体内に注入することで患部に投与する。そして、このインドシアニングリーンにその波長が６００〜８５０ｎｍ（ナノメータ）程度の近赤外光を励起光として照射すると、インドシアニングリーンは７５０〜９００ｎｍ程度の波長の近赤外蛍光を発する。この蛍光を、近赤外光を検出可能な撮像素子で撮影し、その画像を液晶表示パネル等の表示部に表示する。この近赤外蛍光イメージングによれば、体表から２０ｍｍ程度までの深さに存在する血管やリンパ管等の観察が可能となる。
【０００３】
また、近年、腫瘍を蛍光標識して手術ナビゲーションに利用する手法が注目されている。腫瘍を蛍光標識するための蛍光標識剤としては、５−アミノレブリン酸（５−ＡＬＡ／５−Ａｍｉｎｏｌｅｖｕｌｉｎｉｃ  Ａｃｉｄ）が使用される。この５−アミノレブリン酸（以下、これを略称するときは「５−ＡＬＡ」という）を被検者に投与した場合、５−ＡＬＡは蛍光色素であるＰｐＩＸ（ｐｒｏｔｏｐｏｒｐｈｙｒｉｎＩＸ／プロトポルフィリンナイン）に代謝される。なお、このＰｐＩＸは癌細胞に特異的に蓄積する。そして、５−ＡＬＡの代謝物であるＰｐＩＸに向けて４１０ｎｍ程度の波長の可視光を照射すると、ＰｐＩＸからおよそ６３０ｎｍ程度の波長の赤色の可視光が蛍光として発光される。このＰｐＩＸからの蛍光を撮像素子で撮影して観察することにより、癌細胞を確認することが可能となる。
【０００４】
このような体内に侵入させた蛍光色素からの蛍光を撮影するイメージング装置では、蛍光色素からの微弱な蛍光をカメラにより撮像することから、カメラの感度を高いものとする必要が生ずる。このように、カメラの感度を高いものとしたときには、蛍光画像における時間方向のノイズも大きなものとなり、また、孤立点も多数発生して、蛍光画像の画質が劣化することになる。
【０００５】
ところで、従来の孤立点除去処理時には、予めセンサ毎に孤立点となる画素を測定してフレーム毎に補正を行うか、あるいは、画像処理により種々のフィルタを使用して孤立点補正を行っている。一方、近年の高解像度化に伴い、処理が必要な画素数が増加していることから、リアルタイムの表示が重要な動画においては、処理の高速化や処理の簡略化などが必要となっている。すなわち、従来の孤立点除去処理においては、例えば４Ｋ映像であれば、４Ｋ分の孤立点除去処理とノイズ処理など、複数回の処理を行う必要があることから、映像が遅延し、あるいは、この遅延を抑えるために高機能のハードウェアを搭載する必要が生ずる。これに対して、ノイズ除去処理と孤立点除去処理とを同時に行うことができれば、解像度の増加によるハードウェアの負荷を抑え、リアルタイムで処理を実行することが可能となる。
【０００６】
特許文献１には、「映像」ではなく、プリンタ等を対象とした「画像」に対するものではあるが、ノイズ除去処理と孤立点除去処理とを同時に行う画像処理方法および装置が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平９−３０７７６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の発明においては、特徴量変換処理、適応的エッジ処理、偏差値を用いたノイズ除去処理を連続して実行する必要があり、計算コストの高い画像処理を行う必要がある。このため、特に、カメラにより撮影した画像を処理する場合に、リアルタイムに処理を実行することが困難となるという問題が生ずる。
【０００９】
この発明は上記課題を解決するためになされたものであり、画像に対して、リアルタイムでノイズ除去処理と孤立点除去処理とを実行することが可能な画像処理装置およびイメージング装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
請求項１に記載の発明は、画像に対してノイズ除去および孤立点除去を行うための画像処理装置において、可変加重平均型のフィルタを使用するとともに、時間的または空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める、ことを特徴とする。
【００１１】
請求項２に記載の発明は、請求項１に記載の発明において、前記可変加重平均型のフィルタは、ｋを重み関数、ｉをフレーム数、Ｉｉ  を入力画素値としたときに、下記の式により出力画素値Ｆｉ  を演算する再帰可変加重平均型のフィルタであり、時間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、ＡとＢとの間における重み関数ｋの値が１に近いときには、Ａの画素値とＢの画素値とに対して再帰可変加重平均を行うことによりＢの画素値を求め、ＡとＢとの間における重み関数ｋが０に近いときには、Ｂの画素値をそのままとし、ＡとＢとの画素値およびＢとＣとの間における重み関数ｋが０に近く、ＡとＣとの間における重み関数ｋが１に近いときには、Ａの画素値とＣの画素値とに対して再帰可変加重平均を行うことによりＢの画素値を求める、ことを特徴とする。
Ｆｉ  ＝ｋ（Ｆｉ−１  ）＋（１−ｋ）Ｉｉ  
【００１２】
請求項３に記載の発明は、請求項２に記載の発明において、ａおよびｐを計数とし、σを標準偏差としたときに、下記の式により重み関数ｋを演算する。
【００１３】
【数１】
2018124664.tif 000003
【００１４】
請求項４に記載の発明は、請求項１に記載の発明において、前記可変加重平均型のフィルタは空間フィルタであり、空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める、ことを特徴とする。
【００１５】
請求項５に記載の発明は、被検者に投与された蛍光色素を励起させるための励起光を、前記被検者に向けて照射する励起用光源と、励起光が照射されることにより前記蛍光色素から発生した蛍光を撮影することにより、蛍光画像を取得するカメラと、前記カメラにより取得した蛍光画像を画像処理して表示部に表示するための画像処理部と、を備えるイメージング装置において、前記画像処理部は、可変加重平均型のフィルタを使用するとともに、時間的または空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める、ことを特徴とする。
【発明の効果】
【００１６】
請求項１から請求項５に記載の発明によれば、連続する３画素の画素値の変動に基づいて、可変加重平均型フィルタによるノイズ除去処理と孤立点除去処理とを同時に実行することができる。これにより、高価なハードウエハを使用することなく、画像に対してリアルタイムでノイズ除去処理と孤立点除去処理とを実行することが可能となる。
【００１７】
また、請求項５に記載の発明によれば、蛍光色素からの微弱な蛍光をカメラにより撮像するためにカメラの感度を高いものとした場合においても、蛍光画像におけるノイズと孤立点とを効果的に除去して、蛍光画像の画質が劣化することを防止することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】この発明に係るイメージング装置１を、表示装置２とともに示す斜視図である。
【図２】照明・撮影部１２の概要図である。
【図３】照明・撮影部１２におけるカメラ２１の概要図である。
【図４】この発明に係るイメージング装置１の主要な制御系を、表示装置２とともに示すブロック図である。
【図５】時間的に連続する３画素Ａ、Ｂ、Ｃの画素値に対するノイズ除去および孤立点除去動作を説明する表である。
【発明を実施するための形態】
【００１９】
以下、この発明の実施の形態を図面に基づいて説明する。図１は、この発明に係るイメージング装置１を、表示装置２とともに示す斜視図である。
【００２０】
表示装置２は、大型の液晶表示装置等から構成される表示部５２を、支持機構５１により支持する構成を有する。
【００２１】
イメージング装置１は、被検者の体内に注入された蛍光色素としてのインドシアニングリーンに対し励起光を照射し、このインドシアニングリーンから放射される蛍光を撮影するとともに、その蛍光画像を被検者の可視画像であるカラー画像とともに表示装置２に表示するためのものである。そして、このイメージング装置１は、特に、上述した蛍光画像およびカラー画像の表示とともに、被検者の関心領域における蛍光の強度を経時的に測定することにより、被検者の関心領域における蛍光の時間強度曲線（Ｔｉｍｅ  Ｉｎｔｅｎｓｉｔｙ  Ｃｕｒｖｅ：ＴＩＣ）を得るためのものである。
【００２２】
このイメージング装置１は、４個の車輪１３を備えた台車１１と、この台車１１の上面における台車１１の進行方向の前方付近に配設されたアーム機構３０と、このアーム機構３０にサブアーム４１を介して配設された照明・撮影部１２と、モニター１５とを備える。台車１１の進行方向の後方には、台車１１を移動するときに使用されるハンドル１４が付設されている。また、台車１１の上面には、このイメージング装置１の遠隔操作に使用される図示しない操作部を装着するための凹部１６が形成されている。
【００２３】
上述したアーム機構３０は、台車１１の進行方向の前方側に配設されている。このアーム機構３０は、台車１１の進行方向の前方側に立設された支柱３６上に配設された支持部３７に対して、ヒンジ部３３により連結された第１アーム部材３１を備える。この第１アーム部材３１は、ヒンジ部３３の作用により、支柱３６および支持部３７を介して、台車１１に対して揺動可能となっている。なお、上述したモニター１５は、支柱３６に付設されている。
【００２４】
この第１アーム部材３１の上端には、第２アーム部材３２がヒンジ部３４により連結されている。この第２アーム部材３２は、ヒンジ部３４の作用により、第１アーム部材３１に対して揺動可能となっている。このため、第１アーム部材３１と第２アーム部材３２とは、図１に示す第１アーム部材３１と第２アーム部材３２とが第１アーム部材３１と第２アーム部材３２との連結部であるヒンジ部３４を中心として所定の角度開いた撮影姿勢と、第１アーム部材３１と第２アーム部材３２とが近接する待機姿勢とをとることが可能となっている。
【００２５】
第２アーム部材３２の下端には、支持部４３がヒンジ部３５により連結されている。この支持部４３は、ヒンジ部３５の作用により、第２アーム部材３２に対して揺動可能となっている。この支持部４３には、回転軸４２が支持されている。そして、照明・撮影部１２を支持したサブアーム４１は、第２アーム部材３２の先端に配設された回転軸４２を中心に回動する。このため、照明・撮影部１２は、このサブアーム４１の回動により、図１に示す撮影姿勢または待機姿勢をとるためのアーム機構３０に対して台車１１の進行方向の前方側の位置と、台車１１を移動させる時の姿勢であるアーム機構３０に対して台車１１の進行方向の後方側の位置との間を移動する。
【００２６】
図２は、照明・撮影部１２の概要図である。
【００２７】
この照明・撮影部１２は、後述する近赤外線および可視光を検出可能な複数の撮像素子を備えたカメラ２１と、このカメラ２１の外周部に配設された６個のＬＥＤよりなる可視光源２２と、６個のＬＥＤよりなる励起用光源２３と、１個のＬＥＤよりなる確認用光源２４とを備える。可視光源２２は、可視光を照射する。励起用光源２３は、インドシアニングリーンを励起させるための励起光であるその波長が７６０ｎｍの近赤外光を照射する。また、確認用光源２４は、インドシアニングリーンから発生する蛍光の波長と近似するその波長が８１０ｎｍの近赤外光を照射する。なお、励起用光源２３の波長は、７６０ｎｍに限定されず、インドシアニングリーンを励起できる波長であればよい。確認用光源２４の波長は、８１０ｎｍに限定されず、インドシアニングリーンが発する波長以上であってもよい。
【００２８】
図３は、照明・撮影部１２におけるカメラ２１の概要図である。
【００２９】
このカメラ２１は、焦点合わせのために往復移動する可動レンズ５４と、波長選択フィルタ５３と、可視光用撮像素子５５と、蛍光用撮像素子５６とを備える。可視光用撮像素子５５と蛍光用撮像素子５６とは、ＣＭＯＳやＣＣＤから構成される。なお、可視光用撮像素子５５は、可視光の画像をカラー画像として撮影することが可能なものが使用される。
【００３０】
カメラ２１に対して、その光軸Ｌに沿って同軸で入射した可視光および蛍光は、焦点合わせ機構を構成する可動レンズ５４を通過した後、波長選択フィルタ５３に到達する。同軸状に入射した可視光および蛍光のうち、可視光は、波長選択フィルタ５３により反射され、可視光用撮像素子５５に入射する。また、同軸状に入射した可視光および蛍光のうち、蛍光は、波長選択フィルタ５３を通過して蛍光用撮像素子５６に入射する。このとき、可動レンズ５４を含む焦点合わせ機構の作用により、可視光は可視光用撮像素子５５に対して焦点合わせされ、蛍光は蛍光用撮像素子５６に対して焦点合わせされる。可視光用撮像素子５５は、可視画像を、カラー画像として、所定のフレームレートで撮影する。また、蛍光用撮像素子５６は、近赤外画像である蛍光画像を所定のフレームレートで撮影する。
【００３１】
図４は、この発明に係るイメージング装置１の主要な制御系を、表示装置２とともに示すブロック図である。
【００３２】
このイメージング装置１は、論理演算を実行するプロセッサーとしてのＣＰＵ、装置の制御に必要な動作プログラムが格納されたＲＯＭ、制御時にデータ等が一時的にストアされるＲＡＭ等から構成され、装置全体を制御する制御部４０を備える。この制御部４０は、上述した表示装置２と接続されている。また、この制御部４０は、カメラ２１、可視光源２２、励起用光源２３および確認用光源２４を備えた照明・撮影部１２と接続されている。
【００３３】
この制御部４０は、各種の画像処理を実行する画像処理部４４を備える。この画像処理部４４は、再帰可変加重平均処理を実行するための再帰可変加重平均型ノイズ除去フィルタ４５と、時間的または空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、これら３画素Ａ、Ｂ、Ｃの画素値に基づいて処理を選択するために使用されるフィルタ用テーブル４６とを備える。
【００３４】
以上のような構成を有するイメージング装置１を使用して被検者に対する手術を行う場合には、最初に、照明・撮影部１２における確認用光源２４を点灯するとともに、その照射領域の画像をカメラ２１により撮影する。確認用光源２４からは、インドシアニングリーンから発生する蛍光の波長と近似する、その波長が８１０ｎｍの近赤外光が照射される。この近赤外光は、人の目では確認することができない。一方、確認用光源２４から波長が８１０ｎｍの近赤外光を照射するとともに、この照射領域の画像をカメラ２１により撮影した場合、カメラ２１が正常に動作していた場合においては、近赤外光が照射された領域の画像がカメラ２１により撮影され、その画像が表示装置２における表示部５２に表示される。これにより、カメラ２１の動作確認を容易に実行することが可能となる。
【００３５】
しかる後、被検者にインドシアニングリーンを注射により注入する。そして、被検者の臓器における患部に向けて、照明・撮影部１２における励起用光源２３から近赤外線を照射するとともに可視光源２２から可視光を照射する。なお、励起用光源２３から照射される近赤外光としては、上述したように、インドシアニングリーンが蛍光を発するための励起光として作用する７６０ｎｍの近赤外光が採用される。これにより、被検者の体内に注入されたインドシアニングリーンは、約８００ｎｍをピークとする近赤外領域の蛍光を発生させる。
【００３６】
そして、被検者の臓器における患部付近を照明・撮影部１２におけるカメラ２１により、所定のフレームレートで撮影する。このカメラ２１は、上述したように、近赤外光と可視光とを検出することが可能となっている。カメラ２１により所定のフレームレートで撮影された近赤外画像およびカラー画像は、画像処理部４４により、近赤外画像およびカラー画像を表示装置２における表示部５２に表示可能な画像データに変換され、表示部５２に表示される。また、必要に応じ、画像処理部４４は、近赤外画像データとカラー画像データとを利用して、カラー画像と近赤外画像とを融合させた合成画像を作成する。
【００３７】
このようなイメージング装置１において被検者の体内に注入されたインドシアニングリーンからの蛍光をカメラ２１における蛍光用撮像素子５６により撮影するときには、インドシアニングリーンからの微弱な蛍光を撮像する必要があることから、蛍光用撮像素子５６の感度を高いものとする必要が生ずる。このように、蛍光用撮像素子５６の感度を高いものとしたときには、蛍光画像における時間方向のノイズも大きなものとなり、また、孤立点も多数発生して、蛍光画像の画質が劣化することになる。このため、この発明に係るイメージング装置１においては、画像処理部４４において、ノイズ除去および孤立点除去を実行する構成を採用している。
【００３８】
以下、画像処理部４４によるノイズ除去および孤立点除去動作について説明する。以下の説明においては、時間フィルタである再帰可変加重平均型のフィルタを利用してノイズ除去処理および孤立点除去処理を実行する場合について説明する。図５は、時間的に連続する３画素Ａ、Ｂ、Ｃの画素値に対するノイズ除去および孤立点除去動作を説明する表である。
【００３９】
なお、時間的に連続する画素とは、カメラ２１における蛍光用撮像素子５６により所定のフレームレートで撮影された近赤外画像において、連続するフレームにおける同一位置の画素を意味する。
【００４０】
図５に示す表は、３画素Ａ、Ｂ、Ｃの画素値に基づいて、Ｂの画素値をどのように演算するかを示したものである。この表の左端に記載された１から８の数字は、３画素Ａ、Ｂ、Ｃの画素値が近い時と遠い時を場合分けした８種類の状態を表している。そして、この表においては、８種類の状態のそれぞれについて、その状態の判定と、その時の処理方法を示している。なお、この表において、記号「〜」は画素値が近いことを示し、記号「！」は画素値が遠いことを示している。また、＜ＡＢ＞は、Ａの画素値とＢの画素値とに対して可変加重平均を行うことを示し、＜ＡＣ＞は、Ａの画素値とＣの画素値とに対して可変加重平均を行うことを示している。なお、この表における記号「×」は、そのような状態がないことを示している。
【００４１】
ここで、画素値が近いとは画素値の差が小さいことであり、画素値が遠いとは画素値の差が大きいことである。そして、画素値が近いとは、画素値の差が、画素値のノイズ分布の範囲内に入る程度の大きさであることを意味する。また、画素値が遠いとは、画素値の差が、画素値のノイズ分布の範囲外となる程度の大きさであることを意味する。
【００４２】
図５に示す表における状態１は、ＡとＢの画素値が近く、ＢとＣの画素値が近く、ＡとＣの画素値が近い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が順次増加する増加型、順次減少する減少型、増加したのちに減少する凸型、減少したのちに増加する凹型が考えられる。このときには、各画素値の真の値は近く、ノイズにより分散していると考えられる。このため、Ｂの画素値は、Ａの画素値とＢの画素値とに対して再帰可変加重平均を行うことにより求められる。
【００４３】
図５に示す表における状態２は、ＡとＢの画素値が遠く、ＢとＣの画素値が近く、ＡとＣの画素値が近い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が増加したのちに減少する凸型、または、減少したのちに増加する凹型が考えられる。このときには、ＡからＢへの画素値の変化はエッジ（動体）であると考えられる。このため、Ｂの画素値は、そのまま、Ｂの画素値そのものを採用する。
【００４４】
図５に示す表における状態３は、ＡとＢの画素値が近く、ＢとＣの画素値が遠く、ＡとＣの画素値が近い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が増加したのちに減少する凸型、または、減少したのちに増加する凹型が考えられる。このときには、状態１の場合と同様、Ａの画素値およびＢの画素値の真の値は近く、ノイズにより分散していると考えられる。このため、Ｂの画素値は、状態１の場合と同様、Ａの画素値とＢの画素値とに対して再帰可変加重平均を行うことにより求められる。
【００４５】
図５に示す表における状態４は、ＡとＢの画素値が遠く、ＢとＣの画素値が遠く、ＡとＣの画素値が近い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が増加したのちに減少する凸型、または、減少したのちに増加する凹型が考えられる。このときには、凸型の場合にはＢは画素値が大きい（明るい）孤立点であり、凹型の場合にはＢは画素値が小さい（暗い）孤立点であると考えられる。このため、Ｂの画素値は、Ａの画素値とＣの画素値とに対して再帰可変加重平均を行うことにより求められる。これにより、孤立点を除去し、かつ、滑らかなノイズ除去処理を行うことが可能となる。
【００４６】
図５に示す表における状態５は、ＡとＢの画素値が近く、ＢとＣの画素値が近く、ＡとＣの画素値が遠い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が順次増加する増加型、または、順次減少する減少型が考えられる。このときには、状態１の場合と同様、Ａの画素値およびＢの画素値の真の値は近く、ノイズにより分散していると考えられる。このため、Ｂの画素値は、状態１の場合と同様、Ａの画素値とＢの画素値とに対して再帰可変加重平均を行うことにより求められる。
【００４７】
図５に示す表における状態６は、ＡとＢの画素値が遠く、ＢとＣの画素値が近く、ＡとＣの画素値が遠い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が順次増加する増加型、順次減少する減少型、増加したのちに減少する凸型、減少したのちに増加する凹型が考えられる。このときには、ＡからＢへの画素値の変化はエッジ（動体）であると考えられる。このため、Ｂの画素値は、状態２の場合と同様、Ｂの画素値そのものを採用する。
【００４８】
図５に示す表における状態７は、ＡとＢの画素値が近く、ＢとＣの画素値が遠く、ＡとＣの画素値が遠い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が順次増加する増加型、順次減少する減少型、増加したのちに減少する凸型、減少したのちに増加する凹型が考えられる。このときには、状態１の場合と同様、Ａの画素値およびＢの画素値の真の値は近く、ノイズにより分散していると考えられる。このため、Ｂの画素値は、状態１の場合と同様、Ａの画素値とＢの画素値とに対して再帰可変加重平均を行うことにより求められる。
【００４９】
図５に示す表における状態８は、ＡとＢの画素値が遠く、ＢとＣの画素値が遠く、ＡとＣの画素値が遠い状態を示している。このような場合においては、３画素Ａ、Ｂ、Ｃの画素値が順次増加する増加型、順次減少する減少型、増加したのちに減少する凸型、減少したのちに増加する凹型が考えられる。このときには、ＡからＢへの画素値の変化はエッジ（動体）であると考えられる。このため、Ｂの画素値は、状態２の場合と同様、Ｂの画素値そのものを採用する。
【００５０】
以上の処理は、図４に示す画像処理部４４により実行される。この画像処理部４４におけるフィルタ用テーブル４６には、図５に示すような上述した処理を実行するための情報が記憶されている。そして、画像処理部４４における再帰可変加重平均型ノイズ除去フィルタ４５により、各画素値に対する再帰可変加重平均が実行される。この再帰可変加重平均型ノイズ除去フィルタ４５は、ｋを重み関数、ｉをフレーム数、Ｉｉ  を入力画素値としたときに、下記の式により出力画素値Ｆｉ  を演算する。
Ｆｉ  ＝ｋ×（Ｆｉ−１  ）＋（１−ｋ）×Ｉｉ  
【００５１】
ここで、上述した状態１から状態８において、ＡとＢの画素値が近い、すなわち、画素値の差が小さいときには、上記の式にＡとＢを代入した下記の式において重み関数ｋの値が１に近い状態でとなる。また、ＡとＢの画素値が遠い、すなわち、画素値の差が大きいときには、上記の式にＡとＢを代入した下記の式において重み関数ｋの値が０に近い状態となる。
Ｂ ＝ｋ×Ａ＋（１−ｋ）×Ｂ 
【００５２】
そして、重み関数ｋの値は、ａおよびｐを計数とし、σを標準偏差としたときに、下記の式に演算することができる。従って、下記の式に基づいて演算したｋの値が1に近い時には、ＡとＢの画素値が近い（画素値の差が小さい）と判断することができ、ｋの値が０に近い時には、ＡとＢの画素値が小さいと判断することができる。
【００５３】
【数２】
2018124664.tif 000004
【００５４】
なお、上述した実施形態においては、時間フィルタとしての再帰可変加重平均型ノイズ除去フィルタ４５を使用しているが、空間フィルタを利用してこの発明を実施することも可能である。
【００５５】
例えば、空間フィルタとしてのバイラテラルフィルタを用いてノイズ除去を実行するときには、ｆを入力画素値とし、ｉ，ｊをＸＹ座標とし、ｍ，ｎを移動量とし、σを標準偏差としたときに、出力画素値ｇを以下の式で演算している。
【００５６】
【数３】
2018124664.tif 000005
【００５７】
このときにおいても、空間的に連続する３画素をＡ、Ｂ、Ｃとしたときに、ＡとＢとの画素値が近いときには、Ａの画素値とＢの画素値とに対して可変加重平均を行うことによりＢの画素値を求め、ＡとＢとの画素値が遠いときには、Ｂの画素値をそのままとし、ＡとＢとの画素値およびＢとＣとの画素値が遠く、ＡとＣとの画素値が近いときには、Ａの画素値とＣの画素値とに対して可変加重平均を行うことによりＢの画素値を求める。このバイラテラルフィルタにおいては、上記の式における指数関数部分が重み関数に相当する。そして、この重み関数の値が１に近い時には画素値が近いこととなり、重み関数の値が０に近い時には画素値が遠いことになる。
【００５８】
なお、空間的に連続する画素とは、カメラ２１における蛍光用撮像素子５６により所定のフレームレートで撮影された近赤外画像において、同一フレームにおける隣接する位置の画素を意味する。
【００５９】
以上のように、この発明に係るイメージング装置１においては、画像処理部４４が上述した動作により、カメラ２１における蛍光用撮像素子５６により撮影した蛍光画像に対してノイズ除去および孤立点除去を行うことから、ノイズ除去処理と孤立点除去処理とを同時に実行することができる。これにより、高価なハードウエハを使用することなく、蛍光画像に対してリアルタイムでノイズ除去処理と孤立点除去処理とを実行することが可能となる。
【００６０】
なお、上述した実施形態においては、カメラ２１における蛍光用撮像素子５６により撮影された近赤外画像に対してこの発明を適用しているが、カメラ２１における可視光用撮像素子５５により撮影されたカラー画像に対してこの発明を適用してもよい。また、カメラ２１等により撮影された画像だけではなく、その他の一般的な画像に対してこの発明を適用してもよい。
【符号の説明】
【００６１】
１      イメージング装置
２      表示装置
１２    照明・撮影部
２１    カメラ
２２    可視光源
２３    励起用光源
２４    確認用光源
３０    アーム機構
４０    制御部
４４    画像処理部
４５    再帰可変加重平均型ノイズ除去フィルタ
４６    フィルタ用テーブル
５５    可視光用撮像素子
５６    蛍光用撮像素子
【図１】
2018124664.tif 000007
【図２】
2018124664.tif 000008
【図３】
2018124664.tif 000009
【図４】
2018124664.tif 000010
【図５】
2018124664.tif 000011