(57)【要約】【課題】画像の回転やリサイズを行った場合に、元の画像の背景と未撮影領域との境目を目立たなくする。【解決手段】顕微鏡画像処理装置１は、顕微鏡１０によって取得された元画像に回転処理および／またはリサイズ処理を施して元画像の一部分からなる撮影済領域画像を生成する回転・リサイズ部３と、元画像の一部分の縁部の画素値、または、回転処理およびリサイズ処理によって元画像から除外された部分の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定部４と、撮影済領域画像と、未撮影領域色設定部４によって設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成部５とを備える。【選択図】図１
2019054471.tif 000002
【特許請求の範囲】
【請求項１】
顕微鏡によって取得された元画像に回転処理およびリサイズ処理の少なくとも一方を施して前記元画像の一部分からなる撮影済領域画像を生成する回転・リサイズ部と、
前記元画像の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定部と、
前記回転・リサイズ部によって生成された前記撮影済領域画像と、前記未撮影領域色設定部によって設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成部とを備え、
前記未撮影領域色設定部が、前記元画像の前記一部分の縁部の画素値、または、前記回転処理および前記リサイズ処理によって前記元画像から除外された部分の画素値に基づいて、前記未撮影領域の画素値を設定する顕微鏡画像処理装置。
【請求項２】
前記未撮影領域色設定部が、前記元画像の前記一部分の縁部のうち、前記除外された部分に隣接する縁部の画素値に基づいて、前記未撮影領域の画素値を設定する請求項１に記載の顕微鏡画像処理装置。
【請求項３】
前記未撮影領域色設定部が、前記元画像の前記一部分の縁部のうち、前記元画像の辺に沿う縁部の画素値に基づいて、前記未撮影領域の画素値を設定する請求項１または請求項２に記載の顕微鏡画像処理装置。
【請求項４】
前記未撮影領域色設定部が、前記元画像の前記一部分の縁部の画素値または前記元画像の前記除外された部分の画素値の最頻値または平均値を前記未撮影領域の画素値に設定する請求項１から請求項３のいずれかに記載の顕微鏡画像処理装置。
【請求項５】
前記元画像の撮影に使用された前記顕微鏡の観察方法を設定する観察方法設定部を備え、
前記未撮影領域色設定部が、前記観察方法設定部によって設定された観察方法に基づいて前記元画像の画素値が取り得る範囲の一部分を計算対象外に設定し、該計算対象外に該当しない画素値の最頻値または平均値を前記未撮影領域の画素値に設定する請求項４に記載の顕微鏡画像処理装置。
【請求項６】
顕微鏡によって取得された元画像に回転処理およびリサイズ処理の少なくとも一方を施して前記元画像の一部分からなる撮影済領域画像を生成する回転・リサイズステップと、
前記元画像の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定ステップと、
前記回転・リサイズステップにおいて生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにおいて設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成ステップとを含み、
前記未撮影領域色設定ステップにおいて、前記元画像の前記一部分の縁部の画素値、または、前記回転処理および前記リサイズ処理によって前記元画像から除外された部分の画素値に基づいて、前記未撮影領域の画素値を設定する顕微鏡画像処理方法。
【請求項７】
顕微鏡によって取得された元画像に回転処理およびリサイズ処理の少なくとも一方を施して前記元画像の一部分からなる撮影済領域画像を生成する回転・リサイズステップと、
前記元画像の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定ステップと、
前記回転・リサイズステップにおいて生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにおいて設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成ステップとをコンピュータに実行させ、
前記未撮影領域色設定ステップにおいて、前記元画像の前記一部分の縁部の画素値、または、前記回転処理および前記リサイズ処理によって前記元画像から除外された部分の画素値に基づいて、前記未撮影領域の画素値を設定する顕微鏡画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顕微鏡画像処理装置、顕微鏡画像処理方法および顕微鏡画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来、試料の異なる領域を撮影した複数の部分画像を貼り合わせて貼り合わせ画像を生成する顕微鏡システムが知られている（例えば、特許文献１参照。）。この顕微鏡システムを用いて、試料の全体ではなくユーザの興味範囲のみを撮影して貼り合わせを行う場合に、全画像範囲の一部に興味範囲の部分画像のみがモザイク状に貼り合わせられた貼り合わせ画像が生成される。
【０００３】
このような貼り合わせ画像には、部分画像が存在しない未撮影領域が存在し、部分画像の背景色と未撮影領域の色とを近付けてこれらの境目を目立たなくするために、未撮影領域は、一般に、観察方法毎に予め定められた色で塗りつぶす処理が施される。例えば、明視野観察の場合には白で、蛍光観察の場合には黒で、未撮影領域が塗りつぶされる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２２４９２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ユーザは、画像をレポートや論文等に貼付したり画像同士を比較したりする際に、画像に回転やリサイズ等の処理を施すことがある。例えば、画像内で傾いている撮影対象が正立するように画像を回転させたり、他の画像とサイズが揃うように画像をリサイズしたりする。このように回転後またはリサイズ後の画像にも、元の画像が存在しない未撮影領域が生じる。したがって、元の画像の背景と未撮影領域との境目を目立たなくするために、未撮影領域を塗りつぶす追加の処理が必要となるという不都合がある。
【０００６】
また、観察方法に応じた色で未撮影領域を塗りつぶした場合、明視野観察時にホワイトバランスが適正に行われていないときや、蛍光観察時に遮光が十分に行われていないときには、元の画像の背景が一定の白色や黒色にはならず、元の画像と未撮影領域との境目が目立ってしまうという不都合がある。
【０００７】
本発明は上述した事情に鑑みてなされたものであって、画像の回転やリサイズを行った場合でも、元の画像の背景と未撮影領域との境目を目立たなくすることができる顕微鏡画像処理装置、顕微鏡画像処理方法および顕微鏡画像処理プログラムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、顕微鏡によって取得された元画像に回転処理およびリサイズ処理の少なくとも一方を施して前記元画像の一部分からなる撮影済領域画像を生成する回転・リサイズ部と、前記元画像の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定部と、前記回転・リサイズ部によって生成された前記撮影済領域画像と、前記未撮影領域色設定部によって設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成部とを備え、前記未撮影領域色設定部が、前記元画像の前記一部分の縁部の画素値、または、前記回転処理および前記リサイズ処理によって前記元画像から除外された部分の画素値に基づいて、前記未撮影領域の画素値を設定する顕微鏡画像処理装置である。
【０００９】
本態様によれば、顕微鏡によって取得された元画像が入力されると、回転・リサイズ部によって、元画像に回転処理およびリサイズ処理の少なくとも一方が施されることで、元画像の角の領域または辺に沿う領域が除外され元画像の一部分からなる撮影済領域画像が生成される。そして、合成部によって、撮影済領域画像が未撮影領域画像と合成されることで、合成画像が生成される。
【００１０】
通常、撮影対象全体が撮影済領域画像の中心に配置されるように回転処理およびリサイズ処理が行われるため、撮影済領域画像となる元画像の一部分の縁部ならびに回転処理およびリサイズ処理によって元画像から除外された部分（元画像の角の領域および辺に沿う領域）は背景であることが多い。このような元画像の一部分の縁部または元画像から除外された部分の画素値に基づいて、未撮影領域の色が元画像の背景の色に近くなるように、未撮影領域の画素値が未撮影領域色設定部によって設定される。その結果、元画像の取得時におけるホワイトバランスや遮光が適正に行われていない場合でも、撮影済領域画像の背景と未撮影領域との境目が目立たない合成画像を生成することができる。
【００１１】
上記態様においては、前記未撮影領域色設定部が、前記元画像の前記一部分の縁部のうち、前記除外された部分に隣接する縁部の画素値に基づいて、前記未撮影領域の画素値を設定してもよい。
通常、回転処理およびリサイズ処理によって元画像から除外された部分および該除外された部分に隣接する縁部は背景であることが多い。したがって、除外された部分に隣接する縁部の画素値に基づいて、未撮影領域の色が元画像の背景の色により近くなるように、未撮影領域の画素値を設定することができる。
【００１２】
上記態様においては、前記未撮影領域色設定部が、前記元画像の前記一部分の縁部のうち、前記元画像の辺に沿う縁部の画素値に基づいて、前記未撮影領域の画素値を設定してもよい。
通常、撮影対象全体が元画像の中心に配置されるように元画像が取得されるので、元画像の辺に沿う縁部は背景であることが多い。したがって、元画像の辺に沿う縁部の画素値に基づいて、未撮影領域の色が元画像の背景の色により近くなるように、未撮影領域の画素値を設定することができる。
【００１３】
上記態様においては、前記未撮影領域色設定部が、前記元画像の前記一部分の縁部の画素値または前記元画像の前記除外された部分の画素値の最頻値または平均値を前記未撮影領域の画素値に設定してもよい。
このようにすることで、未撮影領域の色が元画像の背景の色により近くなるように、未撮影領域の画素値を設定することができる。
【００１４】
上記態様においては、前記元画像の撮影に使用された前記顕微鏡の観察方法を設定する観察方法設定部を備え、前記未撮影領域色設定部が、前記観察方法設定部によって設定された観察方法に基づいて前記元画像の画素値が取り得る範囲の一部分を計算対象外に設定し、該計算対象外に該当しない画素値の最頻値または平均値を前記未撮影領域の画素値に設定してもよい。
元画像内の撮影対象の周囲には、背景とは異なる色を有する何等かの像が映り込んでいることがある。このような背景の色とは異なる色の画素値を計算対象外に設定して未撮影領域の画素値の計算において除外することで、未撮影領域の色が元画像の背景の色により近くなるように、未撮影領域の画素値を設定することができる。
【００１５】
本発明の他の態様は、顕微鏡によって取得された元画像に回転処理およびリサイズ処理の少なくとも一方を施して前記元画像の一部分からなる撮影済領域画像を生成する回転・リサイズステップと、前記元画像の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定ステップと、前記回転・リサイズステップにおいて生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにおいて設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成ステップとを含み、前記未撮影領域色設定ステップにおいて、前記元画像の前記一部分の画素値、または、前記回転処理および前記リサイズ処理によって前記元画像から除外された部分の画素値に基づいて、前記未撮影領域の画素値を設定する顕微鏡画像処理方法である。
【００１６】
本発明の他の態様は、顕微鏡によって取得された元画像に回転処理およびリサイズ処理の少なくとも一方を施して前記元画像の一部分からなる撮影済領域画像を生成する回転・リサイズステップと、前記元画像の画素値に基づいて未撮影領域の画素値を設定する未撮影領域色設定ステップと、前記回転・リサイズステップにおいて生成された前記撮影済領域画像と、前記未撮影領域色設定ステップにおいて設定された画素値を有する未撮影領域画像とを合成して合成画像を生成する合成ステップとをコンピュータに実行させ、前記未撮影領域色設定ステップにおいて、前記元画像の前記一部分の縁部の画素値、または、前記回転処理および前記リサイズ処理によって前記元画像から除外された部分の画素値に基づいて、前記未撮影領域の画素値を設定する顕微鏡画像処理プログラムである。
【発明の効果】
【００１７】
本発明によれば、画像の回転やリサイズを行った場合でも、元の画像の背景と未撮影領域との境目を目立たなくすることができるという効果を奏する。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る顕微鏡画像処理装置の構成を示すブロック図である。
【図２】図１の顕微鏡画像処理装置の回転・リサイズ部による元画像の回転処理および合成部による合成画像の生成処理を説明する図である。
【図３】図１の顕微鏡画像処理装置の回転・リサイズ部による元画像のリサイズ処理および合成部による合成画像の生成処理を説明する図である。
【図４】撮影済領域画像の縁部のうち、除外領域に隣接する縁部を説明する図である。
【図５】図１の顕微鏡画像処理装置の未撮影領域色設定部が保持する、観察方法と未撮影領域のデフォルト色との対応関係の一例を示す図表である。
【図６】図１の顕微鏡画像処理装置による顕微鏡画像処理方法を示すフローチャートである。
【図７】図６の未撮影領域画素値設定処理のサブルーチンを示すフローチャートである。
【図８】撮影済領域画像の縁部のうち、元画像の辺に沿う縁部を説明する図である。
【図９】図６の顕微鏡画像処理方法の変形例における未撮影領域画素値設定処理のサブルーチンを示すフローチャートである。
【図１０】背景に書き込みが映り込んだ元画像の一例を示す図である。
【図１１】図１０の除外領域における輝度値のヒストグラムの一例であり、計算対象外の画素値を説明する図である。
【発明を実施するための形態】
【００１９】
本発明の一実施形態に係る顕微鏡画像処理装置１、顕微鏡画像処理方法および顕微鏡画像処理プログラムについて、図面を参照して以下に説明する。
本実施形態に係る顕微鏡画像処理装置１は、カメラが取り付けられた顕微鏡１０によって取得された標本Ａの元画像Ｄを処理するものである。顕微鏡画像処理装置１は、図１に示されるように、顕微鏡１０に接続され、顕微鏡１０から入力された元画像Ｄをメモリ（図示略）に記憶し、元画像Ｄに対してユーザの指示に基づく画像処理を施すようになっている。
【００２０】
本実施形態においては、標本Ａとして、スライドガラス上に生体組織の切片が貼り付けられたスライド標本を想定している。したがって、元画像Ｄには、図２および図３に示されるように、撮影対象Ｂである切片と、切片の外側の領域である背景Ｃとが含まれる。
【００２１】
顕微鏡画像処理装置１は、元画像Ｄの撮影に使用された顕微鏡１０の観察方法を設定する観察方法設定部２と、元画像Ｄに回転処理およびリサイズ処理の少なくとも一方を施して撮影済領域画像Ｅを生成する回転・リサイズ部３と、未撮影領域Ｇの画素値を設定して未撮影領域画像を生成する未撮影領域色設定部４と、撮影済領域画像Ｅと未撮影領域画像とを合成して合成画像Ｆを生成する合成部５とを備えている。
【００２２】
顕微鏡画像処理装置１は、例えば、専用または汎用のコンピュータによって実現される。すなわち、顕微鏡画像処理装置１は、ＣＰＵ（中央演算処理装置）のようなプロセッサと、プロセッサの作業領域として使用されるＲＡＭ（ランダムアクセスメモリ）のような主記憶装置と、補助記憶装置とを備える。補助記憶装置は、ハードディスクドライブのようなコンピュータ読み取り可能な非一時的な記録媒体であり、各部２，３，４，５の後述する処理をプロセッサに実行させる顕微鏡画像処理プログラムを記憶している。顕微鏡画像処理装置１を構成するコンピュータには、元画像Ｄおよび合成画像Ｆを表示するディスプレイ（図示略）と、マウスおよびキーボードのような入力装置（図示略）とが接続されている。ユーザは、画像処理に必要な指示を入力装置を使用して顕微鏡画像処理装置１に入力することができるようになっている。
【００２３】
観察方法設定部２は、明視野観察、暗視野観察、位相差観察、蛍光観察等の複数種類の観察方法の中から１つを、ユーザの入力に基づいて顕微鏡１０の観察方法に設定する。例えば、ユーザが、ディスプレイに表示されたプルダウンメニューの中から１つの観察方法を入力装置を使用して選択し、観察方法設定部２が、ユーザによって選択された観察方法を顕微鏡１０の観察方法に設定するように構成される。
あるいは、観察方法設定部２は、顕微鏡１０または元画像Ｄのプロパティから観察方法の情報を自動的に取得し、取得された情報に基づいて観察方法を設定してもよい。
【００２４】
図２は、元画像Ｄの回転処理を示し、図３は、元画像Ｄのリサイズ処理を示している。
回転・リサイズ部３は、図２および図３に示されるように、ユーザの入力操作に基づいて元画像Ｄに対して回転処理およびリサイズ処理の少なくとも一方を施す。例えば、ユーザは、ディスプレイに表示された元画像Ｄを観察しながら、入力装置を操作することによって、回転・リサイズ部３に処理を実行させる。回転処理においては、図２に示されるように、元画像Ｄの角の部分（除外領域）Ｈが元画像Ｄの画像領域（図中の二点鎖線の矩形領域）からはみ出す。リサイズ処理においては、図３に示されるように、元画像Ｄの辺に沿う部分（除外領域）Ｈが元画像Ｄの画像領域からはみ出す。回転・リサイズ部３は、このような除外領域Ｈを除外し、画像領域内に位置する元画像Ｄの一部分からなる撮影済領域画像Ｅを生成する。したがって、元画像Ｄの画像領域と同一サイズの合成画像Ｆの画像領域には、元画像Ｄが存在しない未撮影領域Ｇが生じる。
【００２５】
未撮影領域色設定部４は、未撮影領域Ｇの色が元画像Ｄ内の背景Ｃの色（背景色）と同一または略同一となるように、後述する第１、第２および第３の方法のいずれかによって未撮影領域Ｇの色を構成する画素値（例えば、ＲＧＢ値）を元画像Ｄの画素値に基づいて設定する。次に、未撮影領域色設定部４は、設定された画素値を有する未撮影領域画像を生成する。未撮影領域画像は、図２および図３における未撮影領域Ｇに対応する画像である。例えば、図２の例においては、角の４つの三角形の未撮影領域画像が生成され、図３の例においては、上および下の辺に沿う２つの長方形の未撮影領域画像が生成される。
【００２６】
第１の方法は、元画像Ｄの除外領域Ｈの画素値に基づいて未撮影領域Ｇの画素値を設定する方法である。除外領域Ｈは、上述したように回転処理およびリサイズ処理において元画像Ｄから除外された部分である。未撮影領域色設定部４は、除外領域Ｈにおける全画素の画素値の最頻値または平均値を、未撮影領域Ｇの画素値に設定する。
ユーザの回転操作またはリサイズ操作によって元画像Ｄから除外された除外領域Ｈは、撮影対象Ｂを含まず背景Ｃの一部であることが多い。したがって、除外領域Ｈの画素値から背景色により近い色の画素値を算出することができる。
【００２７】
第２の方法は、撮影済領域画像Ｅの縁部の画素値に基づいて未撮影領域Ｇの画素値を設定する方法である。未撮影領域色設定部４は、撮影済領域画像Ｅの縁部のうち、図４に示されるように、除外領域Ｈに隣接する少なくとも１つの縁部（隣接領域）Ｉにおいて縁に沿って並ぶ画素列の画素値の最頻値または平均値を、未撮影領域Ｇの画素値に設定する。複数（図４の例では４つの）の隣接領域Ｉが撮影済領域画像Ｅ内に存在する場合には、最頻値または平均値の計算に全ての隣接領域Ｉの画素値を用いてもよく、一部の隣接領域Ｉの画素値を用いてもよい。
ユーザの回転操作またはリサイズ操作によって元画像Ｄから除外された除外領域Ｈに隣接する隣接領域Ｉは、撮影対象Ｂを含まず背景Ｃの一部であることが多い。したがって、撮影済領域画像Ｅの隣接領域Ｉの画素値から背景色により近い色の画素値を算出することができる。
【００２８】
第３の方法は、観察方法設定部２によって設定された観察方法に基づいて未撮影領域Ｇの画素値を設定する方法である。元画像Ｄの背景色は、撮影方法に応じた一定範囲内の色となる。例えば、明視野画像の背景色は白であり、位相差画像の背景色は灰であり、暗視野画像および蛍光画像の背景色は黒である。未撮影領域色設定部４は、図５に示されるように、観察方法とデフォルト色の画素値との対応関係を記憶している。デフォルト色は、対応する観察方法で取得された画像の背景色である。未撮影領域色設定部４は、観察方法設定部２によって設定された観察方法に対応するデフォルト色の画素値を未撮影領域Ｇの画素値に設定する。
【００２９】
未撮影領域色設定部４は、第１、第２および第３の方法のいずれを採用するかを、除外領域Ｈの面積および画素値に基づき、以下の手順に従って決定する。
未撮影領域色設定部４は、除外領域Ｈの面積を算出し、除外領域Ｈの面積が第１の所定値（例えば、元画像Ｄの面積の１０％）よりも大きく、かつ、除外領域Ｈにおける輝度値の最大差（最大輝度値と最小輝度値との差）が第２の所定値（例えば、輝度値が８ビットの場合には３０）よりも小さいときに、第１の方法を採用する。輝度値は、画素値から算出される画素の明るさの値である。
【００３０】
除外領域Ｈ全体が背景Ｃであるときには除外領域Ｈの輝度値は略均一になるが、除外領域Ｈに背景以外の何等かの像が含まれている場合には、除外領域Ｈにおける輝度値の最大差が大きくなる。また、除外領域Ｈが広い程、除外領域Ｈの画素値から算出される背景色の信頼度が高くなる。したがって、除外領域Ｈが十分に広く、かつ、除外領域Ｈにおける輝度値の最大差が十分に小さいときには、背景色により近い色の画素値を除外領域Ｈの画素値から算出することができる。
【００３１】
除外領域Ｈの面積および画素値が上記条件を満たさないとき、未撮影領域色設定部４は、隣接領域Ｉにおける輝度値の最大差（最大輝度値と最小輝度値との差）を算出する。算出された差が第３の所定値（例えば、輝度値が８ビットの場合には３０）よりも小さいとき、未撮影領域色設定部４は第２の方法を選択し、算出された差が第３の所定値以上であるとき、未撮影領域色設定部４は第３の方法を選択する。
【００３２】
合成部５は、撮影済領域画像Ｅと、未撮影領域色設定部４によって生成された未撮影領域画像とを合成（結合）することで、元画像Ｄと同一サイズの合成画像Ｆを生成する。
【００３３】
次に、顕微鏡画像処理装置１の作用について図６および図７を参照して説明する。
本実施形態に係る顕微鏡画像処理装置１を使用して顕微鏡１０によって取得された元画像Ｄに回転処理およびリサイズ処理を施すためには、まず、ユーザは、ディスプレイに表示された元画像Ｄを観察し、元画像Ｄの撮影に使用された観察方法を入力装置を使用して選択する。これにより、図６に示されるように、観察方法設定部２によって観察方法が設定される（ステップＳ１）。
【００３４】
次に、ユーザは、入力装置を使用して、元画像Ｄの回転操作およびリサイズ操作を行う。ユーザの操作に基づいて、回転処理およびリサイズ処理のうち少なくとも一方が、回転・リサイズ部３によって元画像Ｄに施されて、元画像Ｄの一部分からなる撮影済領域画像Ｅが生成される（回転・リサイズステップＳ２）。
【００３５】
次に、元画像Ｄ内の背景Ｃの画素値に基づき、未撮影領域色設定部４によって未撮影領域Ｇの画素値が設定される（未撮影領域色設定ステップＳ３）。
具体的には、図７に示されるように、除外領域Ｈの面積が算出され（ステップＳ３１）、除外領域Ｈの面積が第１の所定値よりも大きく、かつ、除外領域Ｈの輝度値の最大差が第２の所定値よりも小さいか否かが判断される（ステップＳ３２，Ｓ３３）。除外領域Ｈの面積および輝度値が上記条件を満たす場合（ステップＳ３２のＹＥＳ、かつステップＳ３３のＹＥＳ）、除外領域Ｈの画素値の最頻値または平均値が未撮影領域Ｇの画素値に設定される（ステップＳ３４）。
【００３６】
一方、除外領域Ｈの面積および輝度値が上記条件を満たさない場合（ステップＳ３２およびＳ３３のうち少なくとも一方においてＮＯ）、隣接領域Ｉの輝度値の最大差が第３の所定値よりも小さいか否かが判断される（ステップＳ３５）。隣接領域Ｉの輝度値が上記条件を満たす場合（ステップＳ３５のＹＥＳ）、隣接領域Ｉの画素値の最頻値または平均値が未撮影領域Ｇの画素値に設定される（ステップＳ３６）。隣接領域Ｉの輝度値が上記条件を満たさない場合（ステップＳ３５のＮＯ）、ステップＳ１で設定された観察方法に対応付けられた画素値が未撮影領域Ｇの画素値に設定される（ステップＳ３７）。
【００３７】
次に、未撮影領域色設定部４によって、ステップＳ３で設定された画素値を有する未撮影領域画像が生成される。次に、合成部５によって、撮影済領域画像Ｅと未撮影領域画像とを合成することで合成画像Ｆが生成される（合成ステップＳ５）。
【００３８】
以上説明したように、元画像Ｄの回転処理およびリサイズ処理によって生成された合成画像Ｆの画像領域には、元画像Ｄの一部分である撮影済領域画像Ｅの他に元画像Ｄが存在しない未撮影領域Ｇが生じる。本実施形態に係る顕微鏡画像処理装置１によれば、背景Ｃの一部である可能性が高い除外領域Ｈまたは隣接領域Ｉの画素値に基づいて、元画像Ｄ内の背景Ｃの色に近い色の画素値が未撮影領域Ｇの画素値に設定される。したがって、元画像Ｄの取得時におけるホワイトバランスや遮光が適正に行われていない場合でも、未撮影領域Ｇが撮影済領域画像Ｅの背景Ｃに近い色で塗りつぶされ、撮影済領域画像Ｅの背景Ｃと未撮影領域Ｇとの境目が目立たない合成画像Ｆを生成することができる。
【００３９】
また、背景Ｃの色に近い色の画素値を除外領域Ｈおよび隣接領域Ｉの画素値から高い信頼度で得られないときには、元画像Ｄの撮影に使用された観察方法における一般的な背景色の画素値が未撮影領域Ｇの画素値に設定される。これにより、撮影済領域画像Ｅの背景Ｃの色と未撮影領域Ｇの色との差を極力抑えて、撮影済領域画像Ｅの背景Ｃと未撮影領域Ｇとの境界が目立たない合成画像Ｆを生成することができるという利点がある。
【００４０】
本実施形態においては、未撮影領域Ｇの画素値を設定するための第２の方法において、隣接領域Ｉの画素値を用いることとしたが、これに代えて、図８に示されるように、撮影済領域画像Ｅの縁部のうち、元画像Ｄの少なくとも１つの辺に沿う縁部Ｊにおける画素列の画素値を用いてもよい。あるいは、撮影済領域画像Ｅの縁部の全周にわたって縁部Ｉおよび縁部Ｊの両方における画素列の画素値を用いてもよい。
通常、撮影対象Ｂ全体が元画像Ｄの中心に配置されるように元画像Ｄが取得されるため、縁部Ｊも背景Ｃの一部である可能性が高い。したがって、縁部Ｉに代えて、または縁部Ｉに加えて縁部Ｊの画素値を用いることによっても、背景色により近い色の画素値を算出することができる。
【００４１】
本実施形態においては、未撮影領域色設定部４が、未撮影領域Ｇの画素値の算出において、除外領域Ｈにおける全ての画素値または隣接領域Ｉにおける全ての画素値を使用することとしたが、これに代えて、図９に示されるように、元画像Ｄの各画素が取り得る画素値の範囲の一部を計算対象外に設定し（ステップＳ３８）、計算対象外に該当しない残りの画素値を未撮影領域Ｇの画素値の算出に使用してもよい（ステップＳ３３’，Ｓ３４’，Ｓ３５’，Ｓ３６’）。
【００４２】
スライド標本Ａの撮影対象Ｂである切片の周囲には、識別用のシールが貼付されていたり、ペンで書き込みがされていたりすることがある。例えば、標本Ａを明視野観察する際には、図１０に示されるように、撮影対象Ｂである切片の位置を示す黒い目印が切片の周囲に付されることがある。このような撮影対象Ｂ以外の何等かの像が除外領域Ｈに映り込んでいるときには、図１１に示されるように、除外領域Ｈにおける画素値には背景色の画素値とは異なる画素値も含まれる。したがって、除外領域Ｈにおける全ての画素値を計算に使用した場合、本来の背景色の画素値とは異なる画素値が算出されて未撮影領域Ｇが本来の背景色とは異なる色で塗りつぶされることになる。隣接領域Ｉの画素値から未撮影領域Ｇの画素値を算出する際にも、同様の不都合が生じ得る。
【００４３】
未撮影領域色設定部４は、元画像Ｄの画素値が取り得る範囲のうち、元画像Ｄの背景色とは異なる色に対応する範囲を計算対象外に設定する。元画像Ｄの背景色は、上述したように観察方法によって異なるので、計算対象外とする画素値の範囲は観察方法に応じて設定される。例えば、２４ビットカラーの明視野画像の場合、図１１に示されるように、輝度値が５０以下となる画素値の範囲が計算対象外に設定される。
【００４４】
未撮影領域色設定部４は、除外領域Ｈまたは隣接領域Ｉの画素値の中から、計算対象外に該当する画素値を除外し、残りの画素値をステップＳ３３’，Ｓ３５’における判断およびステップＳ３４’，Ｓ３６’における未撮影領域Ｇの画素値の計算に使用する。これにより、元画像Ｄの背景Ｃの色により近い色の画素値を算出することができ、撮影済領域画像Ｅと未撮影領域画像との境界が目立たない合成画像Ｆを生成することができる。
【００４５】
本実施形態においては、未撮影領域色設定部４が、未撮影領域Ｇの画素値の設定方法を第１、第２および第３の方法の中から選択することとしたが、これに代えて、第１および第２の方法の中から選択してもよい。あるいは、未撮影領域色設定部４は、常に第１の方法を用いてもよく、または常に第２の方法を用いてもよい。
【００４６】
本実施形態においては、元画像Ｄが、顕微鏡１０によって取得された１枚の画像であることとしたが、元画像Ｄは、これに限定されるものではなく、回転処理およびリサイズ処理の対象となる任意の画像であってよい。例えば、元画像Ｄは、顕微鏡１０によって取得された複数枚の画像を貼り合わせた貼り合わせ画像であってもよく、顕微鏡１０によって取得された動画のフレーム画像であってもよい。
【符号の説明】
【００４７】
１  顕微鏡画像処理装置
２  観察方法設定部
３  回転・リサイズ部
４  未撮影領域色設定部
５  合成部
１０  顕微鏡
Ａ  標本
Ｂ  撮影対象
Ｃ  背景
Ｄ  元画像
Ｅ  撮影済領域画像
Ｆ  合成画像
Ｇ  未撮影領域
Ｈ  除外領域
Ｉ  縁部、隣接領域
Ｊ  縁部
Ｓ２  回転・リサイズステップ
Ｓ３  未撮影領域色設定ステップ
Ｓ５  合成ステップ
【図１】
2019054471.tif 000003
【図２】
2019054471.tif 000004
【図３】
2019054471.tif 000005
【図４】
2019054471.tif 000006
【図５】
2019054471.tif 000007
【図６】
2019054471.tif 000008
【図７】
2019054471.tif 000009
【図８】
2019054471.tif 000010
【図９】
2019054471.tif 000011
【図１０】
2019054471.tif 000012
【図１１】
2019054471.tif 000013