(57)【要約】【課題】構造の簡素化を図りつつ、観察に適した画像を生成すること。【解決手段】医療用画像処理装置９は、観察対象に励起光が照射され、観察対象を介した励起光と励起光によって励起された観察対象からの蛍光とが撮像素子５２１にて撮像された撮像画像を取得する撮像画像取得部９１と、撮像画像に対して画像処理を実行する画像処理部９２とを備える。撮像素子５２１の受光面には、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタ５２２が設けられている。撮像画像は、複数のフィルタ群の分光特性にそれぞれ応じた複数の色の第１の成分情報を含む。画像処理部９２は、複数の色の第１の成分情報のうち少なくとも２つの第１の成分情報を組み合わせて第２の成分情報を生成し、第２の成分情報に基づいて複数の色の第１の成分情報を補正する色補正処理を実行する。【選択図】図２
2020141917.tif 000002
【特許請求の範囲】
【請求項１】
観察対象に励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とが撮像素子にて撮像された撮像画像を取得する撮像画像取得部と、
前記撮像画像に対して画像処理を実行する画像処理部とを備え、
前記撮像素子の受光面には、
互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタが設けられ、
前記撮像画像は、
前記複数のフィルタ群の分光特性にそれぞれ応じた複数の色の第１の成分情報を含み、
前記画像処理部は、
前記複数の色の第１の成分情報のうち少なくとも２つの第１の成分情報を組み合わせて第２の成分情報を生成し、前記第２の成分情報に基づいて前記複数の色の第１の成分情報を補正する色補正処理を実行する医療用画像処理装置。
【請求項２】
前記画像処理部は、
前記第２の成分情報を行列要素として含む入力マトリクスを色補正マトリクスに乗算することによって、前記複数の色の第１の成分情報を補正する前記色補正処理を実行する請求項１に記載の医療用画像処理装置。
【請求項３】
前記入力マトリクスは、
前記複数の色の第１の成分情報をそれぞれ行列要素として含む請求項２に記載の医療用画像処理装置。
【請求項４】
前記第２の成分情報は、
前記複数の色の第１の成分情報のうち少なくとも２つの第１の成分情報を乗算した成分情報である請求項１〜３のいずれか一つに記載の医療用画像処理装置。
【請求項５】
前記複数のフィルタ群は、
赤、緑、及び青の波長帯域に応じてグループ分けされた３つのフィルタ群であり、
前記撮像画像は、
前記３つのフィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の前記第１の成分情報を含む請求項１〜４のいずれか一つに記載の医療用画像処理装置。
【請求項６】
前記励起光は、
プロトポルフィリンを励起する光である請求項１〜５のいずれか一つに記載の医療用画像処理装置。
【請求項７】
励起光を出射可能とする光源装置と、
観察対象に前記励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とを撮像することで撮像画像を生成する撮像素子、及び前記撮像素子の受光面に設けられ、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、
前記撮像画像を処理する請求項１〜６のいずれか一つに記載の医療用画像処理装置とを備える医療用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、医療用画像処理装置及び医療用観察システムに関する。
【背景技術】
【０００２】
従来、癌細胞を検出する癌診断法の一つである光線力学診断（Photo  Dynamic  Diagnosis：PDD）を行うための光線力学診断装置が知られている（例えば、特許文献１参照）。
光線力学診断では、例えば5-アミノレブリン酸（以下、5-ALAと記載）等の光感受性物質が用いられる。当該5-ALAは、元来、動植物の生体内に含まれる天然アミノ酸である。この5-ALAは、体内投与後に細胞内に取り込まれ、ミトコンドリア内でプロトポルフィリンに生合成される。そして、癌細胞では、当該プロトポルフィリンが過剰に集積する。また、当該癌細胞に過剰集積するプロトポルフィリンは、光活性を有する。このため、当該プロトポルフィリンは、励起光（例えば375nm〜445nmの波長帯域の青色可視光）で励起すると、蛍光（例えば600nm〜740nmの波長帯域の赤色蛍光）を発光する。このように、光感受性物質を用いて癌細胞を蛍光発光させる癌診断法を光線力学診断という。
そして、特許文献１に記載の光線力学診断装置は、励起光によって励起された光感受性物質からの蛍光を撮像して蛍光撮像画像を生成する蛍光撮像装置と、当該蛍光撮像装置の光路前段に設けられ、当該蛍光撮像装置に向かう励起光をカットする光学フィルタとを備える。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２０２７２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、光学フィルタによって蛍光撮像装置に向かう全ての励起光をカットした場合には、蛍光撮像装置は、光感受性物質からの蛍光のみを撮像することとなる。このように蛍光のみを撮像した場合には、蛍光撮像装置は、蛍光成分（癌細胞）のみを含む画像であって、背景（当該蛍光部分の周囲にある組織）を視認することができない画像となる。このため、医師等は、蛍光撮像画像を観察しても、背景を視認することができないため、癌細胞がどの位置にあるかを認識することが難しい。特許文献１に記載の光線力学診断装置は、蛍光撮像装置とは別に、観察対象にて反射された照明光（可視光）を撮像して照明光撮像画像を生成する照明光撮像装置を備える。すなわち、照明光撮像画像を観察することにより、上述した背景を視認することができる。しかしながら、撮像装置が２つ必要となり、構造の簡素化を図ることができない、という問題がある。
【０００５】
ここで、蛍光撮像装置を１台のみ用いる構成として、光学フィルタによって蛍光撮像画像に向かう全ての励起光をカットせずに一部の励起光を透過させることで、蛍光撮像画像において、上述した背景を励起光成分で視認可能とすることが考えられる。しかしながら、光学フィルタの製造バラつきや温度変化及び経年劣化等により、蛍光撮像画像において、蛍光成分と励起光成分との明るさのバランスが所望のバランスとはならず、当該蛍光撮像画像が観察に適した画像とならない場合がある。
【０００６】
本開示は、上記に鑑みてなされたものであって、構造の簡素化を図りつつ、観察に適した画像を生成することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、観察対象に励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とが撮像素子にて撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像に対して画像処理を実行する画像処理部とを備え、前記撮像素子の受光面には、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタが設けられ、前記撮像画像は、前記複数のフィルタ群の分光特性にそれぞれ応じた複数の色の第１の成分情報を含み、前記画像処理部は、前記複数の色の第１の成分情報のうち少なくとも２つの第１の成分情報を組み合わせて第２の成分情報を生成し、前記第２の成分情報に基づいて前記複数の色の第１の成分情報を補正する色補正処理を実行する。
【０００８】
また、本開示に係る医療用画像処理装置では、上記開示において、前記画像処理部は、前記第２の成分情報を行列要素として含む入力マトリクスを色補正マトリクスに乗算することによって、前記複数の色の第１の成分情報を補正する前記色補正処理を実行する。
【０００９】
また、本開示に係る医療用画像処理装置では、上記開示において、前記入力マトリクスは、前記複数の色の第１の成分情報をそれぞれ行列要素として含む。
【００１０】
また、本開示に係る医療用画像処理装置では、上記開示において、前記第２の成分情報は、前記複数の色の第１の成分情報のうち少なくとも２つの第１の成分情報を乗算した成分情報である。
【００１１】
また、本開示に係る医療用画像処理装置では、上記開示において、前記複数のフィルタ群は、赤、緑、及び青の波長帯域に応じてグループ分けされた３つのフィルタ群であり、前記撮像画像は、前記３つのフィルタ群の分光特性にそれぞれ応じた赤、緑、及び青の前記第１の成分情報を含む。
【００１２】
また、本開示に係る医療用画像処理装置では、上記開示において、前記励起光は、プロトポルフィリンを励起する光である。
【００１３】
本開示に係る医療用観察システムは、励起光を出射可能とする光源装置と、観察対象に前記励起光が照射され、前記観察対象を介した前記励起光と前記励起光によって励起された前記観察対象からの蛍光とを撮像することで撮像画像を生成する撮像素子、及び前記撮像素子の受光面に設けられ、互いに異なる分光特性を有する複数のフィルタ群が特定の形式で配列されたカラーフィルタを有する撮像装置と、前記撮像画像を処理する上述した医療用画像処理装置とを備える。
【発明の効果】
【００１４】
本開示に係る医療用画像処理装置及び医療用観察システムによれば、構造の簡素化を図りつつ、観察に適した画像を生成することができる。
【図面の簡単な説明】
【００１５】
【図１】図１は、実施の形態１に係る医療用観察システムの構成を示す図である。
【図２】図２は、カメラヘッド及び制御装置の構成を示すブロック図である。
【図３】図３は、カラーフィルタを示す図である。
【図４】図４は、カラーフィルタの分光特性を示す図である。
【図５】図５は、ＰＤＤ画像の一例を示す図である。
【図６】図６は、色補正マトリクスの算出方法を示すフローチャートである。
【図７】図７は、図６に示した色補正マトリクスの算出方法で用いられるカラーパッチを示す図である。
【図８】図８は、実施の形態２に係る医療用観察システムの構成を示す図である。
【図９】図９は、実施の形態３に係る医療用観察システムの構成を示す図である。
【発明を実施するための形態】
【００１６】
以下に、図面を参照して、本開示を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本開示が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
【００１７】
（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システム１の構成を示す図である。
医療用観察システム１は、医療分野において用いられ、被写体となる生体内（観察対象）を撮像（観察）するシステムである。この医療用観察システム１は、図１に示すように、挿入部２と、光源装置３と、ライトガイド４と、カメラヘッド５と、第１伝送ケーブル６と、表示装置７と、第２伝送ケーブル８と、制御装置９と、第３伝送ケーブル１０とを備える。
【００１８】
実施の形態１では、挿入部２は、硬性内視鏡で構成されている。すなわち、挿入部２は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部２内には、１または複数のレンズを用いて構成され、被写体からの光を集光する光学系が設けられている。
【００１９】
光源装置３は、制御装置９による制御の下、励起光を生成する。そして、光源装置３は、ライトガイド４の一端に当該励起光を供給する。実施の形態１では、光源装置３は、プロトポルフィリンを励起する青の波長帯域（例えば375nm〜445nmの波長帯域）の励起光を発光する半導体レーザで構成されている。また、当該プロトポルフィリンは、当該励起光で励起すると、赤の波長帯域（例えば、600nm〜740nmの波長帯域）の蛍光を発光する。
なお、実施の形態１では、光源装置３は、制御装置９とは別体で構成されているが、これに限らず、当該制御装置９内部に設けられた構成を採用しても構わない。
【００２０】
ライトガイド４は、一端が光源装置３に着脱自在に接続されるとともに、他端が挿入部２に着脱自在に接続される。そして、ライトガイド４は、光源装置３から供給された励起光を一端から他端に伝達し、挿入部２に供給する。挿入部２に供給された励起光は、当該挿入部２の先端から出射され、生体内に照射される。生体内に照射され、当該生体内を介した励起光（当該生体内で反射された励起光）と、当該生体内における病変部に集積するプロトポルフィリンが励起され、当該プロトポルフィリンから発せられた蛍光とは、挿入部２内の光学系により集光される。なお、以下では、説明の便宜上、挿入部２内の光学系により集光された励起光と蛍光とを被写体像と記載する。
【００２１】
カメラヘッド５は、本開示に係る撮像装置に相当する。このカメラヘッド５は、挿入部２の基端（接眼部２１（図１））に着脱自在に接続される。そして、カメラヘッド５は、制御装置９による制御の下、挿入部２にて集光された被写体像（励起光及び蛍光）を撮像し、当該撮像による画像信号（ＲＡＷ信号）を出力する。当該画像信号は、例えば、４Ｋ以上の画像信号である。
なお、カメラヘッド５の詳細な構成については、後述する。
【００２２】
第１伝送ケーブル６は、一端がコネクタＣＮ１（図１）を介して制御装置９に着脱自在に接続され、他端がコネクタＣＮ２（図１）を介してカメラヘッド５に着脱自在に接続される。そして、第１伝送ケーブル６は、カメラヘッド５から出力される画像信号等を制御装置９に伝送するとともに、制御装置９から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド５にそれぞれ伝送する。
なお、第１伝送ケーブル６を介したカメラヘッド５から制御装置９への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第１伝送ケーブル６を介した制御装置９からカメラヘッド５への制御信号、同期信号、クロックの伝送も同様である。
【００２３】
表示装置７は、液晶または有機ＥＬ（Electro  Luminescence）等を用いた表示ディスプレイで構成され、制御装置９にて処理された画像を表示する。
第２伝送ケーブル８は、一端が表示装置７に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第２伝送ケーブル８は、制御装置９にて処理された画像を表示装置７に伝送する。
【００２４】
制御装置９は、本開示に係る医療用画像処理装置に相当する。この制御装置９は、ＣＰＵ（Central  Processing  Unit）やＦＰＧＡ（Field-Programmable  Gate  Array）等で構成され、光源装置３、カメラヘッド５、及び表示装置７の動作を統括的に制御する。
なお、制御装置９の詳細な構成については、後述する。
第３伝送ケーブル１０は、一端が光源装置３に着脱自在に接続され、他端が制御装置９に着脱自在に接続される。そして、第３伝送ケーブル１０は、制御装置９からの制御信号を光源装置３に伝送する。
【００２５】
〔カメラヘッドの構成〕
次に、カメラヘッド５の構成について説明する。
図２は、カメラヘッド５及び制御装置９の構成を示すブロック図である。
なお、図２では、説明の便宜上、制御装置９及びカメラヘッド５と第１伝送ケーブル６との間のコネクタＣＮ１，ＣＮ２、制御装置９及び表示装置７と第２伝送ケーブル８との間のコネクタ、制御装置９及び光源装置３と第３伝送ケーブル１０との間のコネクタの図示を省略している。
カメラヘッド５は、図２に示すように、レンズユニット５１と、撮像部５２と、通信部５３とを備える。
【００２６】
レンズユニット５１は、１または複数のレンズを用いて構成され、挿入部２にて集光された被写体像（励起光及び蛍光）を撮像部５２（撮像素子５２１）の撮像面に結像する。
撮像部５２は、制御装置９による制御の下、生体内を撮像する。この撮像部５２は、図２に示すように、撮像素子５２１と、カラーフィルタ５２２と、信号処理部５２３とを備える。
撮像素子５２１は、レンズユニット５１が結像した光を受光して電気信号（アナログ信号）に変換するＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）等で構成されている。以下では、説明の便宜上、撮像素子５２１により被写体像（励起光及び蛍光）を撮像することで生成された撮像画像をＰＤＤ画像と記載する。
信号処理部５２３は、撮像素子５２１にて生成されたＰＤＤ画像（アナログ信号）に対して信号処理を行ってＰＤＤ画像（ＲＡＷ信号（デジタル信号））を出力する。
【００２７】
図３は、カラーフィルタ５２２を示す図である。
カラーフィルタ５２２は、撮像素子５２１の撮像面（受光面）に設けられ、透過させる光（Ｒ（赤），Ｇ（緑），Ｂ（青））の波長帯域に応じてグループ分けされた３つのフィルタ群が特定の形式（例えば、ベイヤ配列）で配列されたカラーフィルタである。
具体的に、カラーフィルタ５２２は、図３に示すように、Ｒの波長帯域の光を主に透過させるＲフィルタ群５２２ｒと、Ｂの波長帯域の光を主に透過させるＢフィルタ群５２２ｂと、Ｇの波長帯域の光を主に透過させる第１Ｇフィルタ群（Ｒフィルタ群５２２ｒと同一の列に配列）と、Ｇの波長帯域の光を主に透過させる第２Ｇフィルタ群（Ｂフィルタ群５２２ｂと同一の列に配列）とを有する。なお、図３では、第１，第２Ｇフィルタ群を纏めてＧフィルタ群５２２ｇとしている。また、図３では、Ｒフィルタ群５２２ｒには「Ｒ」の文字を付し、Ｇフィルタ群５２２ｇには「Ｇ」の文字を付し、Ｂフィルタ群５２２ｂには「Ｂ」の文字を付している。
【００２８】
図４は、カラーフィルタ５２２の分光特性を示す図である。具体的に、図４では、Ｒフィルタ群５２２ｒの分光特性を曲線ＣＲにて示し、Ｇフィルタ群５２２ｇの分光特性を曲線ＣＧにて示し、Ｂフィルタ群５２２ｂの分光特性を曲線ＣＢにて示している。また、図４では、励起光のスペクトルＳＰＥ、及び蛍光のスペクトルＳＰＦについても図示している。
Ｒフィルタ群５２２ｒは、図４に示すように、蛍光を含むＲの波長帯域の光を主に透過させるが、励起光も一部透過させる。すなわち、撮像部５２にて生成されたＰＤＤ画像において、Ｒフィルタ群５２２ｒに対応する画素の画素データ（本開示に係る第１の成分情報に相当、以下、ｒ値と記載）は、蛍光成分と励起光成分とが混ざり合ったものとなる。また、Ｇフィルタ群５２２ｇは、Ｇの波長帯域の光を主に透過させるが、蛍光及び励起光も一部透過させる。すなわち、ＰＤＤ画像において、Ｇフィルタ群５２２ｇに対応する画素の画素データ（本開示に係る第１の成分情報に相当、以下、ｇ値と記載）は、蛍光成分と励起光成分とが混ざり合ったものとなる。さらに、Ｂフィルタ群５２２ｂは、励起光を含むＢの波長帯域の光を主に透過させるが、蛍光も一部透過させる。すなわち、ＰＤＤ画像において、Ｂフィルタ群５２２ｂに対応する画素の画素データ（本開示に係る第１の成分情報に相当、以下、ｂ値と記載）は、蛍光成分と励起光成分とが混ざり合ったものとなる。
【００２９】
図５は、ＰＤＤ画像ＦＦの一例を示す図である。具体的に、図５において、グレーで表現した領域ＡｒＦは、プロトポルフィリンが過剰集積した病変部に相当し、主に蛍光成分によって構成された領域である。
撮像部５２にて生成されたＰＤＤ画像ＦＦにおいて、領域ＡｒＦの周囲にある背景（ＰＤＤ画像ＦＦにおいて白で表現した領域）は、主に励起光の成分によって構成される。実施の形態１では、撮像部５２は、撮像素子５２１に向かう励起光をカットする光学フィルタが設けられていない。すなわち、観察対象で反射された多くの光量の励起光が撮像素子５２１に入射することとなる。このため、上述した背景は、領域ＡｒＦよりも明るくなり、当該領域ＡｒＦが視認し難いものとなる。
そこで、実施の形態１では、後述する制御装置９が実行する画像処理によって、ｒ値、ｇ値、及びｂ値において互いに混ざり合った蛍光成分と励起光成分とを分離し、領域ＡｒＦと上述した背景との明るさのバランスを所望のバランスとするものである。
【００３０】
通信部５３は、第１伝送ケーブル６を介して、撮像部５２から出力されるＰＤＤ画像（ＲＡＷ信号（デジタル信号））を制御装置９に送信するトランスミッタとして機能する。この通信部５３は、例えば、第１伝送ケーブル６を介して、制御装置９との間で、１Ｇｂｐｓ以上の伝送レートでＰＤＤ画像の通信を行う高速シリアルインターフェースで構成されている。
【００３１】
〔制御装置の構成〕
次に、制御装置９の構成について図２を参照しながら説明する。
制御装置９は、図２に示すように、通信部９１と、画像処理部９２と、制御部９３と、入力部９４と、出力部９５と、記憶部９６とを備える。
通信部９１は、本開示に係る撮像画像取得部に相当する。この通信部９１は、第１伝送ケーブル６を介して、カメラヘッド５（通信部５３）から出力されるＰＤＤ画像（ＲＡＷ信号（デジタル信号））を受信するレシーバとして機能する。この通信部９１は、例えば、通信部５３との間で、１Ｇｂｐｓ以上の伝送レートでＰＤＤ画像の通信を行う高速シリアルインターフェースで構成されている。
【００３２】
画像処理部９２は、制御部９３による制御の下、カメラヘッド５（通信部５３）から順次、出力され、通信部９１にて受信したＰＤＤ画像（ＲＡＷ信号（デジタル信号））を処理する。この画像処理部９２は、図２に示すように、ＷＢ処理部９２１と、デモザイク処理部９２２と、色補正マトリクス処理部９２３と、ガンマ処理部９２４と、ＹＣ変換部９２５とを備える。
【００３３】
ＷＢ処理部９２１は、ＰＤＤ画像（ＲＡＷ信号（デジタル信号））におけるｒ値、ｇ値、及びｂ値に特定のゲインをそれぞれ乗算するＷＢ（ホワイトバランス）処理を行う。
デモザイク処理部９２２は、ＷＢ処理後のＰＤＤ画像に対して、１画素毎に補間によりｒ値、ｇ値、及びｂ値の画素値（Ｒ（ｒ値），Ｇ（ｇ値），Ｂ（ｂ値））を持たせるデモザイク処理を行う。
【００３４】
色補正マトリクス処理部９２３は、デモザイク処理後のＰＤＤ画像に対して色補正マトリクス処理（本開示に係る色補正処理に相当）を行う。
具体的に、色補正マトリクス処理部９２３は、以下の式（１）により、１画素毎の画素値（Ｒ，Ｇ，Ｂ）を画素値（Ｒｍ，Ｇｍ，Ｂｍ）に補正する。なお、式（１）において、Ｍcolは、色補正マトリクスである。式（１）は、色補正マトリクスＭcolとして、３＊８のマトリクスを採用した場合を示したものである。当該色補正マトリクスの算出方法については後述する。また、Ｍinputは、色補正マトリクスＭcolに乗算される入力マトリクスである。式（１）では、入力マトリクスＭinputは、画素値（Ｒ，Ｇ，Ｂ）を行列要素としてそれぞれ含む他、「Ｒ＊Ｇ」、「Ｇ＊Ｂ」、「Ｒ＊Ｂ」、及び「Ｒ＊Ｇ＊Ｂ」を行列要素としてそれぞれ含む。
すなわち、入力マトリクスＭinputは、３つの第１の成分情報（画素値（Ｒ，Ｇ，Ｂ））のうち少なくとも２つの第１の成分情報を組み合わせた第２の成分情報（「Ｒ＊Ｂ」、「Ｇ＊Ｂ」、「Ｒ＊Ｂ」、「Ｒ＊Ｇ＊Ｂ」）を行列要素として含む。
【００３５】
ここで、画素値（Ｒ，Ｇ，Ｂ）に含まれるＲとＧとを乗算した「Ｒ＊Ｇ」の行列要素は、曲線ＣＲがＲの波長帯域だけでなく、Ｇの波長帯域まで延びている結果、Ｒ（ｒ値）の中にどれだけＧの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「Ｒ＊Ｇ」の行列要素は、曲線ＣＧがＧの波長帯域だけでなくＲの波長帯域まで延びている結果、Ｇ（ｇ値）の中にどれだけＲの波長帯域の光に応じた成分が含まれているかを示す行列要素である。
【００３６】
また、画素値（Ｒ，Ｇ，Ｂ）に含まれるＧとＢとを乗算した「Ｇ＊Ｂ」の行列要素は、曲線ＣＧがＧの波長帯域だけでなく、Ｂの波長帯域まで延びている結果、Ｇ（ｇ値）の中にどれだけＢの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「Ｇ＊Ｂ」の行列要素は、曲線ＣＢがＢの波長帯域だけでなくＧの波長帯域まで延びている結果、Ｂ（ｂ値）の中にどれだけＧの波長帯域の光に応じた成分が含まれているかを示す行列要素である。
【００３７】
さらに、画素値（Ｒ，Ｇ，Ｂ）に含まれるＲとＢとを乗算した「Ｒ＊Ｂ」の行列要素は、曲線ＣＲがＲの波長帯域だけでなく、Ｂの波長帯域まで延びている結果、Ｒ（ｒ値）の中にどれだけＢの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「Ｒ＊Ｂ」の行列要素は、曲線ＣＢがＢの波長帯域だけでなくＲの波長帯域まで延びている結果、Ｂ（ｂ値）の中にどれだけＲの波長帯域の光に応じた成分が含まれているかを示す行列要素である。
【００３８】
また、画素値（Ｒ，Ｇ，Ｂ）に含まれるＲ，Ｇ，Ｂの全てを乗算した「Ｒ＊Ｇ＊Ｂ」の行列要素は、曲線ＣＲがＲの波長帯域だけでなく、Ｇ，Ｂの波長帯域まで延びている結果、Ｒ（ｒ値）の中にどれだけＧ，Ｂの波長帯域の光に応じた成分が含まれているかを示す行列要素である。また、当該「Ｒ＊Ｇ＊Ｂ」の行列要素は、曲線ＣＧがＧの波長帯域だけでなく、Ｒ，Ｂの波長帯域までそれぞれ延びている結果、Ｇ（ｇ値）の中にどれだけＲ，Ｂの波長帯域の光に応じた成分が含まれているかを示す行列要素である。さらに、当該「Ｒ＊Ｇ＊Ｂ」の行列要素は、曲線ＣＢがＢの波長帯域だけでなく、Ｒ，Ｇの波長帯域まで延びている結果、Ｂ（ｂ値）の中にどれだけＲ，Ｇの波長待機の光に応じた成分が含まれているかを示す行列要素である。
【００３９】
【数１】
2020141917.tif 000003
【００４０】
そして、色補正マトリクス処理部９２３は、１画素毎の画素値（Ｒ，Ｇ，Ｂ）から入力マトリクスＭinputを算出し、当該入力マトリクスＭinputを色補正マトリクスＭcolに乗算することで、補正された画素値（Ｒｍ，Ｇｍ，Ｂｍ）を算出する。
【００４１】
なお、式（１）では、３＊８の色補正マトリクスＭcolを採用した場合を例示しているが、これに限らない。例えば、以下の式（２）に示す３＊７の色補正マトリクスＭcol、以下の式（３）に示す３＊６の色補正マトリクスＭcol、あるいは、以下の式（４）に示す３＊５の色補正マトリクスＭcolを採用しても構わない。式（２）に示した入力マトリクスＭinputは、式（１）に示した入力マトリクスＭinputにおける「Ｒ＊Ｇ＊Ｂ」の行列要素が省略されたものである。式（３）では、入力マトリクスＭinputを３つ挙げているが、当該３つのうちいずれの入力マトリクスＭinputを用いても構わない。当該３つの入力マトリクスＭinputは、式（２）に示した入力マトリクスＭinputにおける「Ｒ＊Ｇ」の行列要素、「Ｇ＊Ｂ」の行列要素、及び「Ｒ＊Ｂ」の行列要素のいずれか１つの行列要素が省略されたものである。式（４）では、入力マトリクスＭinputを３つ挙げているが、当該３つのうちいずれの入力マトリクスＭinputを用いても構わない。当該３つの入力マトリクスＭinputは、式（２）に示した入力マトリクスＭinputにおける「Ｒ＊Ｇ」の行列要素、「Ｇ＊Ｂ」の行列要素、及び「Ｒ＊Ｂ」の行列要素のいずれか２つの行列要素が省略されたものである。
【００４２】
【数２】
2020141917.tif 000004
【００４３】
【数３】
2020141917.tif 000005
【００４４】
【数４】
2020141917.tif 000006
【００４５】
ガンマ処理部９２４は、色補正マトリクス処理後のＰＤＤ画像に対してガンマ処理（γ補正）を行う。
ＹＣ変換部９２５は、ガンマ処理後のＰＤＤ画像（ＲＧＢ信号）を輝度信号及び色差信号（Ｙ，ＣＢ／ＣＲ信号）に変換するＹＣ変換を行う。そして、画像処理部９２は、第２伝送ケーブル８を介して、ＹＣ変換後のＰＤＤ画像を表示装置７に出力する。これにより、表示装置７は、当該ＰＤＤ画像を表示する。
【００４６】
制御部９３は、例えば、ＣＰＵやＦＰＧＡ等を用いて構成され、第１〜第３伝送ケーブル６，８，１０を介して制御信号を出力することで、光源装置３、カメラヘッド５、及び表示装置７の動作を制御するとともに、制御装置９全体の動作を制御する。
入力部９４は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部９４は、当該ユーザ操作に応じた操作信号を制御部９３に出力する。
出力部９５は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部９６は、制御部９３が実行するプログラムや、制御部９３の処理に必要な情報等を記憶する。
【００４７】
〔色補正マトリクスの算出方法〕
次に、上述した色補正マトリクスＭcolの算出方法について説明する。
図６は、色補正マトリクスＭcolの算出方法を示すフローチャートである。図７は、図６に示した色補正マトリクスの算出方法で用いられるカラーパッチ１００を示す図である。
先ず、作業者は、光源装置３にて生成された励起光をカラーパッチ１００（図７）に照射した状態で、撮像部５２にて当該カラーパッチ１００を撮像させる（ステップＳ１）。
ここで、カラーパッチ１００は、例えばマクベスカラーチャート等で構成され、互いに異なる色見本（以下、パッチと記載）が配列されたものである。なお、図７では、説明の便宜上、パッチに対して１〜ｎの文字を付している。
【００４８】
ステップＳ１の後、作業者は、画像処理部９２を利用して、撮像部５２にて生成されたＰＤＤ画像（ＲＡＷ信号（デジタル信号））に対してＷＢ処理（ステップＳ２）及びデモザイク処理（ステップＳ３）を実行することにより、１〜ｎのパッチ毎の画素値（Ｒ，Ｇ，Ｂ）を取得する（ステップＳ４）。
【００４９】
ステップＳ４の後、作業者は、入力マトリクスＭinputのタイプを選択する（ステップＳ５）。
具体的に、作業者は、３＊８の色補正マトリクスＭcolを算出する場合には、式（１）の入力マトリクスＭinputを選択する。また、作業者は、３＊７の色補正マトリクスＭcolを算出する場合には、式（２）の入力マトリクスＭinputを選択する。さらに、作業者は、３＊６の色補正マトリクスＭcolを算出する場合には、式（３）の３つの入力マトリクスＭinputのいずれかを選択する。また、作業者は、３＊５の色補正マトリクスＭcolを算出する場合には、式（４）の３つの入力マトリクスＭinputのいずれかを選択する。
【００５０】
ステップＳ５の後、作業者は、ステップＳ４で取得した１〜ｎのパッチ毎の各画素値（Ｒ，Ｇ，Ｂ）からステップＳ５で選択した入力マトリクスＭinputをそれぞれ算出する（ステップＳ６）。すなわち、ステップＳ６により、入力マトリクスＭinputが１〜ｎのパッチ毎に算出される。
ステップＳ６の後、作業者は、ステップＳ６で算出した１〜ｎのパッチ毎の入力マトリクスＭinput、及び１〜ｎのパッチ毎のターゲット値（Ｒtarget，Ｇtarget，Ｂtarget）を以下の式（５）に入力する（ステップＳ７）。すなわち、ステップＳ７により、色補正マトリクスＭcolを変数とする式（５）が１〜ｎのパッチ毎に生成される。
【００５１】
【数５】
2020141917.tif 000007
【００５２】
ここで、１〜ｎのパッチ毎のターゲット値（Ｒtarget，Ｇtarget，Ｂtarget）は、１〜ｎのパッチ毎の理想となる画素値であり、例えば、撮像素子５２１に向かう励起光の一部をカットする光学フィルタを撮像部５２に設けた状態で撮像したＰＤＤ画像における１〜ｎのパッチ毎の画素値を採用することができる。
【００５３】
ステップＳ７の後、作業者は、ステップＳ７で生成した色補正マトリクスＭcolを変数とする１〜ｎのパッチ毎の式（５）から誤差最小二乗法により、当該色補正マトリクスＭcolを算出する（ステップＳ８）。
【００５４】
以上説明した実施の形態１によれば、以下の効果を奏する。
実施の形態１に係る制御装置９は、３つの第１の成分情報（画素値（Ｒ，Ｇ，Ｂ））のうち少なくとも２つの第１の成分情報を組み合わせて第２の成分情報（「Ｒ＊Ｂ」、「Ｇ＊Ｂ」、「Ｒ＊Ｂ」、「Ｒ＊Ｇ＊Ｂ」）を生成し、当該第２の成分情報に基づいて３つの第１の成分情報を補正する色補正処理を実行する。より具体的に、制御装置９は、３つの第１の成分情報と第２の成分情報とを行列要素としてそれぞれ含む入力マトリクスＭinputを色補正マトリクスＭcolに乗算することによって、３つの第１の成分情報を補正する色補正処理を実行する。
このため、ｒ値、ｇ値、及びｂ値において互いに混ざり合った蛍光成分と励起光成分とを色補正処理によって分離し、ＰＤＤ画像ＦＦの領域ＡｒＦ（蛍光成分）と背景（励起光成分）との明るさのバランスを所望のバランスとすることができる。
したがって、医療用観察システム１の構成として、撮像素子５２１を１つのみ有する単板型の構成とすることができるとともに、従来の励起光をカットする光学フィルタを用いる必要がないため、構造の簡素化を図ることができる。また、制御装置９は、ＰＤＤ画像ＦＦの領域ＡｒＦと背景との明るさのバランスを所望のバランスとすることができるため、観察に適した画像を生成することができる。
【００５５】
（実施の形態２）
次に、実施の形態２について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、硬性内視鏡（挿入部２）を用いた医療用観察システム１に本開示を適用していた。
これに対して、実施の形態２では、挿入部の先端側に撮像部を有する所謂ビデオスコープを用いた医療用観察システムに本開示を適用している。
【００５６】
図８は、実施の形態２に係る医療用観察システム１Ａの構成を示す図である。
実施の形態２に係る医療用観察システム１Ａは、図８に示すように、生体内に挿入部２Ａを挿入することによって観察部位の体内画像を撮像して画像信号を出力する内視鏡１１と、内視鏡１１の先端から出射する照明光を発生する光源装置３と、内視鏡１１から出力された画像信号を処理する制御装置９と、制御装置９に第２伝送ケーブル８を介して接続し、制御装置９にて処理されたＰＤＤ画像を表示する表示装置７とを備える。
【００５７】
内視鏡１１は、図８に示すように、可撓性を有する細長形状をなす挿入部２Ａと、挿入部２Ａの基端側に接続され、各種の操作を受け付ける操作部１１１と、操作部１１１から挿入部２Ａが延びる方向と異なる方向に延び、光源装置３及び制御装置９に接続する各種ケーブルを内蔵するユニバーサルコード１１２とを備える。
挿入部２Ａは、図８に示すように、先端部２２と、先端部２２の基端側に接続され、複数の湾曲駒によって構成された湾曲自在な湾曲部２３と、湾曲部２３の基端側に接続され、可撓性を有する長尺状の可撓管部２４とを備える。
そして、先端部２２内部には、具体的な図示は省略したが、上述した実施の形態１で説明した撮像部５２と略同様の構成が内蔵されている。また、操作部１１１内部には、具体的な図示は省略したが、上述した実施の形態１で説明した通信部５３と略同様の構成が内蔵されている。そして、先端部２２（撮像部）にて撮像されたＰＤＤ画像は、操作部１１１及びユニバーサルコード１１２を介して、制御装置９に出力される。
【００５８】
以上説明した実施の形態２のように軟性内視鏡（内視鏡１１）を用いた場合であっても、上述した実施の形態１と同様の効果を奏する。
【００５９】
（実施の形態３）
次に、実施の形態３について説明する。
以下の説明では、上述した実施の形態１と同様の構成には同一符号を付し、その詳細な説明は省略または簡略化する。
上述した実施の形態１では、硬性内視鏡（挿入部２）を用いた医療用観察システム１に本開示を適用していた。
これに対して、実施の形態３では、被検体内部（生体内）や被検体表面（生体表面）の所定の視野領域を拡大して撮像する手術用顕微鏡を用いた医療用観察システムに本開示を適用している。
【００６０】
図９は、実施の形態３に係る医療用観察システム１Ｂの構成を示す図である。
実施の形態３に係る医療用観察システム１Ｂは、図９に示すように、被検体を撮像してＰＤＤ画像を出力する手術用顕微鏡１２と、手術用顕微鏡１２から出力されたＰＤＤ画像を処理する制御装置９と、制御装置９に第２伝送ケーブル８を介して接続し、制御装置９にて処理されたＰＤＤ画像を表示する表示装置７とを備える。
【００６１】
手術用顕微鏡１２は、図９に示すように、被写体の微小部位を拡大して撮像し、ＰＤＤ画像を出力する顕微鏡部１２１と、顕微鏡部１２１の基端部に接続し、顕微鏡部１２１を回動可能に支持するアームを含む支持部１２２と、支持部１２２の基端部を回転可能に保持し、床面上を移動可能なベース部１２３とを備える。
そして、制御装置９は、図９に示すように、ベース部１２３に設置されている。また、具体的な図示は省略したが、ベース部１２３には、手術用顕微鏡１２から被写体に照射する励起光を生成する光源装置３も設置されている。
なお、ベース部１２３は、床面上に移動可能に設けるのではなく、天井や壁面等に固定して支持部１２２を支持する構成としてもよい。
【００６２】
顕微鏡部１２１には、具体的な図示は省略したが、上述した実施の形態１で説明した撮像部５２及び通信部５３と略同様の構成が内蔵されている。そして、顕微鏡部１２１（撮像部）にて撮像されたＰＤＤ画像は、支持部１２２に沿って配線された第１伝送ケーブル６を介して、制御装置９に出力される。
【００６３】
以上説明した実施の形態３のように手術用顕微鏡１２を用いた場合であっても、上述した実施の形態１と同様の効果を奏する。
【００６４】
（その他の実施の形態）
ここまで、本開示を実施するための形態を説明してきたが、本開示は上述した実施の形態１〜３によってのみ限定されるべきものではない。
上述した実施の形態１〜３では、光線力学診断を行うための医療用観察システム１（１Ａ，１Ｂ）に本開示に係る医療用画像処理装置を搭載していたが、これに限らない。すなわち、励起光や蛍光の波長帯域が上述した実施の形態１〜３で説明した波長帯域とは異なる波長帯域であって、当該光線力学診断とは異なる観察手法を行うための医療用観察システムに本開示に係る医療用画像処理装置を搭載しても構わない。
【００６５】
上述した実施の形態１〜３では、デモザイク処理をＷＢ処理と色補正マトリクス処理との間に行う構成としていたが、これに限らない。当該デモザイク処理は、ガンマ処理の前であれば、色補正マトリクス処理の前に行ってもよく、あるいは、ＷＢ処理の前に行っても構わない。また、上述した実施の形態１〜３において、画像処理部９２は、各処理部９２１〜９２５が図２に示した順序とは異なる順序で配置された構成としても構わない。
【００６６】
上述した実施の形態１〜３では、入力マトリクスＭinputの行列要素に含める第２の成分情報として、３つの第１の成分情報（画素値（Ｒ，Ｇ，Ｂ））のうち少なくとも２つの第１の成分情報を乗算した成分情報としていたが、これに限らず、当該少なくとも２つの第１の成分情報を組み合わせた成分情報であれば、その他の成分情報としても構わない。
【００６７】
上述した実施の形態１〜３では、カラーフィルタ５２２を構成する各フィルタ群５２２ｒ，５２２ｇ，５２２ｂは、Ｒ，Ｇ，Ｂの波長帯域の光を主に透過するフィルタ群としてそれぞれ構成されていたが、これに限らない。本開示に係る複数のフィルタ群としては、互いに異なる分光特性を有していれば、上述した実施の形態１〜３で説明した色の組み合わせのフィルタ群５２２ｒ，５２２ｇ，５２２ｂに限らず、その他の色の組み合わせのフィルタ群として構成しても構わない。
上述した実施の形態１〜３において、カメラヘッド５の一部の構成や制御装置９の一部の構成を例えばコネクタＣＮ１やコネクタＣＮ２に設けても構わない。
【符号の説明】
【００６８】
１，１Ａ，１Ｂ  医療用観察システム
２，２Ａ  挿入部
３  光源装置
４  ライトガイド
５  カメラヘッド
６  第１伝送ケーブル
７  表示装置
８  第２伝送ケーブル
９  制御装置
１０  第３伝送ケーブル
１１  内視鏡
１２  手術用顕微鏡
２１  接眼部
２２  先端部
２３  湾曲部
２４  可撓管部
５１  レンズユニット
５２  撮像部
５３  通信部
９１  通信部
９２  画像処理部
９３  制御部
９４  入力部
９５  出力部
９６  記憶部
１００  カラーパッチ
１１１  操作部
１１２  ユニバーサルコード
１２１  顕微鏡部
１２２  支持部
１２３  ベース部
５２１  撮像素子
５２２  カラーフィルタ
５２２ｂ  Ｂフィルタ群
５２２ｇ  Ｇフィルタ群
５２２ｒ  Ｒフィルタ群
５２３  信号処理部
９２１  ＷＢ処理部
９２２  デモザイク処理部
９２３  色補正マトリクス処理部
９２４  ガンマ処理部
９２５  ＹＣ変換部
ＡｒＦ  領域
ＣＢ，ＣＧ，ＣＲ  曲線
ＣＮ１，ＣＮ２  コネクタ
ＦＦ  ＰＤＤ画像
ＳＰＥ，ＳＰＦ  スペクトル
【図１】
2020141917.tif 000008
【図２】
2020141917.tif 000009
【図３】
2020141917.tif 000010
【図４】
2020141917.tif 000011
【図５】
2020141917.tif 000012
【図６】
2020141917.tif 000013
【図７】
2020141917.tif 000014
【図８】
2020141917.tif 000015
【図９】
2020141917.tif 000016