(57)【要約】【課題】  生体組織のうち、特に血管内の血液の状態を分析するための情報処理装置、プログラム、方法及びシステムを提供する。【解決手段】  所定の指示命令が記憶されるとともに、プローブによって撮像された生体組織の血管を含む画像が記憶されるメモリと、画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成し、生成された各指標を、前記座標位置のそれぞれに対応付けて出力可能にするために、前記メモリに記憶された前記指示命令を実行するように構成されたプロセッサと、を含む情報処理装置である。【選択図】  図１
2019005266.tif 000002
【特許請求の範囲】
【請求項１】
所定の指示命令が記憶されるとともに、プローブによって撮像された生体組織の血管を含む画像が記憶されるメモリと、
前記画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成し、生成された各指標を前記座標位置のそれぞれに対応付けて出力するために、前記メモリに記憶された前記指示命令を実行するように構成されたプロセッサと、
を含む情報処理装置。
【請求項２】
前記指標は、血液の酸素飽和度を演算することにより生成される、請求項１に記載の情報処理装置。
【請求項３】
前記酸素飽和度は、前記画像から特定された血管の座標位置において算出された光学濃度に基づいて演算される、請求項２に記載の情報処理装置。
【請求項４】
前記画像は、前記プローブを前記生体組織の表面に対して接触させた状態で撮像された画像である、請求項１〜３のいずれか一項に記載の情報処理装置。
【請求項５】
前記画像は、暗視野撮影法によって撮影された画像である、請求項１〜４のいずれか一項に記載の情報処理装置。
【請求項６】
前記情報処理装置は、ディスプレイをさらに含み、
前記プロセッサは、前記指標を前記ディスプレイに出力するよう前記指示命令を実行する、
請求項１〜５のいずれか一項に記載の情報処理装置。
【請求項７】
前記プロセッサは、前記画像または前記画像に基づいて生成された他の画像上の前記座標位置に、前記指標を配置して出力するよう前記指示命令を実行する、請求項１〜６のいずれか一項に記載の情報処理装置。
【請求項８】
前記画像は、ピーク波長域の異なる複数の光をそれぞれ照射して撮像された画像である、請求項１〜７のいずれか一項に記載の情報処理装置。
【請求項９】
前記プローブは、ピーク波長域の異なる複数の光を前記生体組織に対して発光可能なＬＥＤ光源を含む、請求項１〜８のいずれか一項に記載の情報処理装置。
【請求項１０】
前記複数の光のピーク波長域は、いずれも血中に含まれるヘモグロビンの光吸収波長域内に含まれる、請求項８または９に記載の情報処理装置。
【請求項１１】
前記複数の光は、少なくとも青色光と緑色光を含む、請求項１０に記載の情報処理装置。
【請求項１２】
前記座標位置は、前記画像から特定された血管に対応する座標位置である、請求項１〜１１のいずれか一項に記載の情報処理装置。
【請求項１３】
プローブによって撮影された生体組織の血管を含む画像が記憶されるメモリを含むコンピュータを、
前記画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成し、生成された各指標を前記座標位置のそれぞれに対応付けて出力するための処理を実行するように構成されたプロセッサ、
として機能させるプログラム。
【請求項１４】
プロセッサがメモリに記憶された所定の指示命令を実行することによりなされる方法であって、
プローブによって撮像された生体組織の血管を含む画像を記憶する段階と、
前記画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成する段階と、
生成された各指標を前記座標位置のそれぞれに対応付けて出力する段階と、
を含む方法。
【請求項１５】
請求項１〜１１のいずれか一項に記載の情報処理装置と、
前記情報処理装置と通信可能に接続され、ピーク波長域の異なる複数の光を照射可能な光源、及び前記光源から照射された光のうち生体組織の表面を反射してきた光を検出するイメージセンサを含むプローブと、
を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、生体組織の状態を分析するための情報処理装置、当該情報処理装置で実行されるプログラム及び方法、並びに当該情報処理装置を用いたシステムに関する。
【背景技術】
【０００２】
従来より、生体組織の状態を分析するために、その生体組織に光を照射してその生体組織から反射した光を検出する装置が知られている。たとえば、特許文献１には、励起光源が接続されたプローブから励起光を生体組織に照射し、それにより励起された生体組織から放出された蛍光の強度を検出するための装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２２００３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
そこで、上記のような技術を踏まえ、本開示では、生体組織のうち、特に血管内の血液の状態を分析するための情報処理装置、プログラム、方法及びシステムを提供する。
【課題を解決するための手段】
【０００５】
本開示の一態様によれば、「所定の指示命令が記憶されるとともに、プローブによって撮像された生体組織の血管を含む画像とが記憶されるメモリと、前記画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成し、生成された各指標を前記座標位置のそれぞれに対応付けて出力するために、前記メモリに記憶された前記指示命令を実行するように構成されたプロセッサと、を含む情報処理装置」が提供される。
【０００６】
本開示の一態様によれば、「プローブによって撮影された生体組織の血管を含む画像が記憶されるメモリを含むコンピュータを、前記画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成し、生成された各指標を前記座標位置のそれぞれに対応付けて出力するための処理を実行するように構成されたプロセッサ、として機能させるプログラム」が提供される。
【０００７】
本開示の一態様によれば、「プロセッサがメモリに記憶された所定の指示命令を実行することによりなされる方法であって、プローブによって撮像された生体組織の血管を含む画像を記憶する段階と、前記画像中の一または複数の座標位置における前記血管内の血液の状態を示す指標をそれぞれ生成する段階と、生成された各指標を前記座標位置のそれぞれに対応付けて出力する段階と、を含む方法」が提供される。
【０００８】
本開示の一態様によれば、「情報処理装置と、前記情報処理装置と通信可能に接続され、ピーク波長域の異なる複数の光を照射可能な光源、及び前記光源から照射された光のうち生体組織の表面を反射してきた光を検出するイメージセンサを含むプローブと、を含むシステム」が提供される。
【発明の効果】
【０００９】
本開示の様々な実施形態によれば、生体組織のうち、特に血管内の血液の状態を分析するための情報処理装置、プログラム、方法及びシステムを提供することができる。
【００１０】
なお、上記効果は説明の便宜のための例示的なものであるにすぎず、限定的なものではない。上記効果に加えて、または上記効果に代えて、本開示中に記載されたいかなる効果や当業者であれば明らかな効果を奏することも可能である。
【図面の簡単な説明】
【００１１】
【図１】図１は、本開示の一実施形態に係るシステム１の構成を説明するための図である。
【図２】図２は、本開示の一実施形態に係るシステム１を構成する情報処理装置１００、プローブ２００及び光源制御装置３００の構成の例を示すブロック図である。
【図３ａ】図３ａは、本開示の一実施形態に係るプローブ２００の断面の構成を示す概念図である。
【図３ｂ】図３ｂは、本開示の一実施形態に係るプローブ２００の底面の構成を示す概念図である。
【図４】図４は、本開示の一実施形態に係るプローブ２００の利用形態を示す概念図である。
【図５】図５は、本開示の一実施形態に係るシステム１において実行される処理フローを示す図である。
【図６】図６は、本開示の一実施形態に係る情報処理装置１００において実行される処理フローを示す図である。
【図７ａ】図７ａは、本開示の一実施形態に係るプローブ２００を介して撮像された画像の例を示す図である。
【図７ｂ】図７ｂは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。
【図７ｃ】図７ｃは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。
【図７ｄ】図７ｄは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。
【図７ｅ】図７ｅは、本開示の実施形態に係る情報処理装置１００において処理された画像の例を示す図である。
【図７ｆ】図７ｆは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。
【図８】図８は、本開示の一実施形態に係る情報処理装置１００において実行される処理フローを示す図である。
【図９】図９は、本開示の一実施形態に係る情報処理装置１００から出力された画像の例を示す図である。
【図１０】図１０は、本開示の一実施形態に係る情報処理装置１００から出力された画像の例を示す図である。
【発明を実施するための形態】
【００１２】
添付図面を参照して本開示の様々な実施形態を説明する。なお、図面における共通する構成要素には同一の参照符号が付されている。
【００１３】
１．本開示に係るシステムの概要
本開示の様々な実施形態に係るシステムは、一例としては、プローブによって生体組織（たとえば、臓器）の微小循環系（たとえば、細動脈、毛細血管、細静脈等の血管）を撮像し、その撮像された血管を含む画像に基づいて、その画像中の一または複数の座標位置における血管に含まれる血液の状態（たとえば、血液の酸素飽和度）を示す指標をそれぞれ生成し、生成された各指標を上記座標位置のそれぞれに対応付けて出力するためのシステムである。
【００１４】
その具体例としては、プローブでヒトの生体組織表面の毛細血管を撮像する。そして撮像された画像をプローブから情報処理装置に転送して、情報処理装置において様々な画像処理及び画像解析を行い、画像中の一または複数の座標位置において血液の酸素飽和度を推定する。そして酸素飽和度の推定により生成される指標を、撮像された画像上の上記座標位置に重畳して配置（マッピング）し、情報処理装置のディスプレイ等においてその結果を表示する。
【００１５】
なお、血管内の血液の状態を示す指標としては、プローブを用いて撮像される画像から取得可能な指標であればいずれでもよいが、好適な例としては、血液の酸素飽和度、血中のヘモグロビンの全濃度、またはそれらの組み合わせが挙げられる。
【００１６】
また、血管内の血液の状態を示す指標は、たとえば演算または推定された酸素飽和度や全濃度の数値そのものであってもよいし、その数値を所定の範囲ごとに分類したものであってもよい。すなわち、当該指標は、演算または推定された酸素飽和度や全濃度の数値そのもののみを意味するのではなく、その数値に基づいて加工された情報であってもよい。
【００１７】
また、ディスプレイ等への出力の際、生成された指標がマッピングされる画像も、プローブで撮像された画像そのものであってもよいし、平滑化、２値化、正規化などの画像処理を施したのちの画像であってもよい。
【００１８】
２．一実施形態に係るシステム１の構成
図１は、本開示の一実施形態に係るシステムを説明するための図である。図１を参照すると、システム１は、生体組織の画像を撮像するためのプローブ２００と、撮像された画像の処理等を行う情報処理装置１００と、プローブ２００に含まれた光源の制御を行う光源制御装置３００とが、互いに各種情報、指示命令、データ等を送受信可能に接続されている。このうち、プローブ２００は、生体組織の表面に対して接触させた状態で用いることで、一般的な明視野による撮影ではなく、暗視野撮影を可能とするものである。
【００１９】
なお、図１においては、光源制御装置３００を設けてはいるが、情報処理装置１００またはプローブ２００内のマイコン等によってプローブ２００の光源の制御を実施して、光源制御装置３００を省略することも可能である。また、情報処理装置１００は一つの構成要素として記載しているが、様々な処理ごとや記憶する情報ごとに情報処理装置を分散させることも可能である。
【００２０】
図２は、本開示の一実施形態に係るシステム１を構成する情報処理装置１００、プローブ２００及び光源制御装置３００の構成の例を示すブロック図である。なお、情報処理装置１００、プローブ２００及び光源制御装置３００は、図２に示す構成要素の全てを備える必要はなく、一部を省略した構成をとることも可能であるし、他の構成要素を加えることも可能である。
【００２１】
図２を参照すると、情報処理装置１００は、ディスプレイ１１１、プロセッサ１１２、タッチパネル１１４及びハードキー１１５を含む入力インターフェイス１１３、通信処理回路１１６、メモリ１１７及びＩ／Ｏ回路１１８を含む。そして、これらの各構成要素が制御ラインまたはデータラインを介して互いに電気的に接続される。
【００２２】
ディスプレイ１１１は、プロセッサ１１２の指示に応じて、メモリ１１７に記憶された画像情報を読み出して各種出力を行う表示部として機能する。具体的には、ディスプレイ１１１は、プロセッサ１１２によって生成された血管内の血液の状態を示す指標が血管の画像上にマッピングされた画像を表示したり、マッピング画像を生成するうえでの各種設定画面や生成過程の画像を表示したりする。ディスプレイ１１１は、例えば液晶ディスプレイから構成される。
【００２３】
プロセッサ１１２は、一例としてＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ１１７に記憶された指示命令（プログラム）を実行して、接続された他の構成要素を制御するための制御部として機能する。例えば、プロセッサ１１２は、メモリ１１７に記憶された様々な画像解析プログラムを実行して、プローブ２００によって撮像された血管を含む画像の一または複数の座標位置において血管内の血液の状態を示す指標を生成したり、生成された指標を撮像された画像の一または複数の座標位置にそれぞれ配置してディスプレイ１１１に表示したりする。なお、プロセッサ１１２は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成されても良い。また、画像処理に特化したＧＰＵ等、他の種類のプロセッサを適宜組み合わせてもよい。
【００２４】
入力インターフェイス１１３は、タッチパネル１１４及び／又はハードキー１１５等から構成され、ユーザからの各種指示や入力を受け付ける操作部として機能する。タッチパネル１１４は、ディスプレイ１１１を被覆するように配置され、ディスプレイ１１１の表示する画像データに対応する位置座標の情報をプロセッサ１１２に出力する。タッチパネル方式としては、抵抗膜方式、静電容量結合方式、超音波表面弾性波方式など、公知の方式を利用することができる。
【００２５】
通信処理回路１１６は、接続されたアンテナ（図示しない）を介して、遠隔に設置されたサーバ装置や他の情報処理装置との間で情報の送受信をするために、変調や復調などの処理を行う。例えば、通信処理回路１１６は、本実施形態に係るプログラムを実行した結果得られたマッピング画像をサーバ装置や他の情報処理装置に送信するための処理をする。なお、通信処理回路１１６は、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式に代表されるような広帯域の無線通信方式に基づいて処理されるが、ＩＥＥＥ８０２．１１に代表されるような無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）のような狭帯域の無線通信に関する方式に基づいて処理することも可能である。また、通信処理回路１１６は、公知の有線通信を用いることも可能である。
【００２６】
メモリ１１７は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本実施形態に係る画像処理等を実行するための指示命令や所定のＯＳをプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ１１２により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリやＨＤＤは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。不揮発性メモリやＨＤＤには、一例として、プローブ２００によって撮像された画像、マッピング画像等の画像や、プローブ２００による撮像の被写体となるユーザの情報が記憶される。
【００２７】
Ｉ／Ｏ回路１１８は、プローブ２００及び光源制御装置３００にそれぞれ含まれるＩ／Ｏ回路と接続され、プローブ２００及び光源制御装置３００との間で情報の入出力をするための情報入出力部として機能する。具体的には、Ｉ／Ｏ回路１１８は、プローブ２００で撮像された画像を受信したり、プローブ２００に含まれるイメージセンサ２１２を制御するための制御信号を送信したりするためのインターフェイスとして機能する。なお、Ｉ／Ｏ回路１１８は、シリアルポート、パラレルポート、ＵＳＢ等、所望に応じて公知の接続形式を採用することが可能である。
【００２８】
図２を参照すると、プローブ２００は、光源２１１、イメージセンサ２１２及びＩ／Ｏ回路２１３を含む。そして、これらの各構成要素が制御ラインまたはデータラインを介して互いに電気的に接続される。
【００２９】
光源２１１は、少なくとも一つのＬＥＤから構成される。一例としては、光源２１１は、生体組織または血管に対して、ピーク波長４７０ｎｍ、半値幅３０ｎｍの青色光を発光するためのＬＥＤと、ピーク波長５２７ｎｍ、半値幅３０ｎｍの緑色光を発光するためのＬＥＤという、ピーク波長の異なる複数の光源から構成される。光源の発光色は、好ましくはそのピーク波長がいずれも血中に含まれるヘモグロビンの光吸収が支配的な波長域である４００ｎｍ〜６００ｎｍに含まれてさえいればよく、上記の特定の発光色のみには限定されない。また、青色光と緑色光の２種類の光源を記載したが、ピーク波長域の異なる更なる光源を設けることも可能である。上記光吸収波長域にピーク波長がない光源（例えば、赤色光）を用いた場合、血管部分とその周辺部分の光吸収の差が小さくなる。一方で、ヘモグロビンの光吸収波長域にピーク波長域がある光源を用いた場合は血管部分とその周辺部分の光吸収の差が十分に大きい。したがって、プローブ２００で撮像した画像中の血管部分と周辺部分（背景部分）の画素値の違いがより鮮明になり、好適に血管部分を抽出することが可能である。
【００３０】
また、光源２１１は、図示はしていないが、光源制御装置３００のプロセッサ３１１から受信した制御信号に基づいて、その発光色（ピーク波長）を周期的に切り替えるための公知の切替回路を有してもよい。
【００３１】
イメージセンサ２１２は、生体組織内で散乱されて生体組織の表面から反射してきた光を検出して撮像対象を撮像し、Ｉ／Ｏ回路２１３を介して情報処理装置１００に出力される画像信号を生成する。イメージセンサ２１２としては、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像センサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ-Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像センサなど、公知のイメージセンサを利用することが可能である。なお、生成された画像信号は、ＣＤＳ回路、ＡＧＣ回路、Ａ／Ｄコンバータなどの各回路で処理されたのち、デジタル画像信号として情報処理装置１００に送信される。
【００３２】
Ｉ／Ｏ回路２１３は、情報処理装置１００及び光源制御装置３００にそれぞれ含まれるＩ／Ｏ回路と接続され、情報処理装置１００及び光源制御装置３００との間で情報の入出力をするための情報入出力部として機能する。具体的には、Ｉ／Ｏ回路２１３は、イメージセンサ２１２等で生成されたデジタル画像信号を情報処理装置１００に受信したり、光源２１１及びイメージセンサ２１２を制御するための制御信号を情報処理装置１００及び光源制御装置３００から受信したりするためのインターフェイスとして機能する。なお、Ｉ／Ｏ回路２１３は、シリアルポート、パラレルポート、ＵＳＢ等、所望に応じて公知の接続形式を採用することが可能である。
【００３３】
図２を参照すると、光源制御装置３００は、プロセッサ３１１、メモリ３１２、入力インターフェイス３１３及びＩ／Ｏ回路３１４を含む。そして、これらの各構成要素が制御ラインまたはデータラインを介して互いに電気的に接続される。
【００３４】
プロセッサ３１１は、一例としてＣＰＵ（マイクロコンピュータ：マイコン）から構成され、メモリ３１２に記憶された指示命令（たとえば、各種プログラム）を実行するために、接続された他の構成要素を制御するための制御部として機能する。例えば、プロセッサ３１１は、メモリ３１２に記憶された光源制御プログラムを実行して、プローブ２００に設けられた光源２１１から出力される光の色を周期的に切り替えるための制御信号を出力する。なお、プロセッサ３１１は、単一のＣＰＵで構成されても良いが、複数のＣＰＵで構成しても良い。
【００３５】
メモリ３１２は、ＲＯＭ、ＲＡＭ、不揮発性メモリ、ＨＤＤ等から構成され、記憶部として機能する。ＲＯＭは、本実施形態に係る光源の制御を実行するための指示命令や所定のＯＳをプログラムとして記憶する。ＲＡＭは、ＲＯＭに記憶されたプログラムがプロセッサ３１１により処理されている間、データの書き込み及び読み込みをするために用いられるメモリである。不揮発性メモリやＨＤＤは、当該プログラムの実行によってデータの書き込み及び読み込みが実行されるメモリであって、ここに書き込まれたデータは、当該プログラムの実行が終了した後でも保存される。不揮発性メモリやＨＤＤには、一例として、光源のピーク波長、光源から照射する光の発光周期（複数の発光色を用いる場合には、その切替周期）などの設定情報が記憶される。
【００３６】
入力インターフェイス３１３は、ハードキー等から構成され、ユーザによる光源の各種設定情報を受け付ける操作部として機能する。
【００３７】
Ｉ／Ｏ回路３１４は、情報処理装置１００及びプローブ２００にそれぞれ含まれるＩ／Ｏ回路と接続され、情報処理装置１００及びプローブ２００との間で情報の入出力をするための情報入出力部として機能する。具体的には、Ｉ／Ｏ回路３１４は、プローブ２００の光源２１１を制御するための制御信号をプローブ２００に送信するためのインターフェイスとして機能する。なお、Ｉ／Ｏ回路３１４は、シリアルポート、パラレルポート、ＵＳＢ等、所望に応じて公知の接続形式を採用することが可能である。
【００３８】
３．プローブ２００の構成
図３ａは、本開示の一実施形態に係るプローブ２００の断面の構成を示す概念図である。また、図３ｂは、本開示の一実施形態に係るプローブ２００の底面の構成を示す概念図である。図３ａ及び図３ｂを参照すると、プローブ２００は、生体組織表面に接触する接触面２２５を通過してカメラに備えられたイメージセンサ２２１に光を届けるために、接触面２２５とイメージセンサ２２１との間に配置された光路２２４を備える。光路２２４には、所望の画像データやイメージセンサ２２１の配置に応じて、レンズ２３３や光学フィルタ等を配置することが可能である。
【００３９】
また、プローブ２００は、光路２２４の周囲に光源として複数のＬＥＤ２２２と、光路２２４の周囲に当該光路２２４とＬＥＤ２２２とを物理的に区分けるように構成された分離壁２３２とを備える。ＬＥＤ２２２は、暗視野撮影法（具体的には、サイドストリーム暗視野撮影法）により生体組織を撮影するために、イメージセンサ２２１へと通じる光路２２４からは分離壁２３２によって光学的に完全に分離して配置される。具体的には、ＬＥＤ２２２は、光路２２４を通過する光の光軸に対して、被写体となる生体組織に対して照射する光の光軸が所定の角度（たとえば約５０度）だけ傾くように設置される。ＬＥＤ２２２から照射される光は指向性を有するため、光路２２４に対してＬＥＤ２２２を光学的により完全に分離することが可能となるだけでなく、被写体となる生体組織に照射される光の強度を上げることが可能となる。また、図３ａ及び図３ｂの例において、プローブ２００は、光路２２４の周囲に６個のマルチカラーのＬＥＤ２２２を備える。このように、複数のＬＥＤ２２２を均等に配置することによって、被写体に対して均一に光を照射することが可能となる。
【００４０】
図３ａ及び図３ｂの例では、マルチカラーＬＥＤを用いて、光源制御装置３００からの制御信号に応答して、所定周期で複数の光色（たとえば青色光と緑色光）を切り替えて用いる。その切替周期の一例としては、５００ｍｓｅｃ、好ましくは２００ｍｓｅｃ、より好ましくは１００ｍｓｅｃが挙げられる。
【００４１】
なお、これに限らず、あらかじめ発光色の異なる複数種類の光源を配置することも可能である。また、図３ａ及び図３ｂの例では、６個のＬＥＤ２２２を用いたが、当然その個数は所望に応じて増減させ、たとえば１個のみのＬＥＤ、または８個のＬＥＤを用いることも可能である。
【００４２】
また、プローブ２００は、ＬＥＤ２２２を被覆するように、生体組織との接触面にカバー２２３を備える。カバー２２３は、たとえばシリコーン樹脂から構成され、ＬＥＤ２２２が生体組織やその分泌物に直接接して汚染されるのを防止する。
【００４３】
図４は、本開示の一実施形態に係るプローブ２００の利用形態を示す概念図である。本実施形態においては、プローブ２００によって撮像される画像は、暗視野撮影法によって撮影された画像である。したがって、ＬＥＤ２２２から照射された光は光路２２４から光学的に分離する必要がある。したがって、プローブ２００の接触面２２５及びカバー表面２２６を生体組織２２８の表面２３１に対して接触させた状態で、上記画像が撮像される。
【００４４】
具体的には、図４を参照すると、ＬＥＤ２２２から照射された光（たとえば、青色光または緑色光）がカバー表面２２６及び生体組織２２８の表面２３１を通過して生体組織２２８内に入射する。入射した光２２７は、光２２７ａのように生体組織内で散乱する。このとき、入射光２２７は赤血球のヘモグロビンの吸収波長域にそのピーク波長を有するので、散乱した光２２７ａの一部（たとえば、光２２７ｂ）が表面２３１近傍の毛細血管２２９に含まれる赤血球のヘモグロビン２３０に吸収される。一方、赤血球のヘモグロビン２３０によって吸収されなかった光の一部（たとえば、光２２７ｃ）は、生体組織２２８の表面２３１及びプローブ２００の接触面２２５を通過して、光路２２４に入り、最終的にはイメージセンサ２２１に到達して、イメージセンサ２２１によって撮像される。
【００４５】
このように、本実施形態においては、プローブ２００は、上記のとおりプローブ２００の接触面２２５及びカバー表面２２６を生体組織２２８の表面２３１に対して接触させて用いるため、生体組織２２８の表面２３１での光の反射を低減することができる。また、暗視野撮影法を利用しているので、毛細血管２２９のよりクリアな撮影が可能となる。
【００４６】
４．情報処理装置１００で実行される処理の概要
図５は、本開示の一実施形態に係るシステム１において実行される処理フローを示す図である。具体的には、図５は、情報処理装置１００のプロセッサ１１２、光源制御装置３００のプロセッサ３１１等が、各メモリ１１７及び３１２に記憶された指示命令を実行することによって行われる処理フローを示す図である。
【００４７】
図５によると、光源制御装置３００において光源となるＬＥＤ２２２の設定を行いプロセッサ３１１からその制御信号を、また情報処理装置１００のプロセッサ１１２から撮影のための制御信号を、それぞれプローブ２００が受信することにより当該処理フローは開始される。まず、上記制御信号を受信したプローブ２００は、ＬＥＤ２２２から照射される光のピーク波長及びその切替周期を制御して撮像対象となる生体組織に対して光を照射する。そして、上記プローブ２００は、イメージセンサ２１２で受光した散乱光を検出して、生体組織の血管を含む画像を撮像する（Ｓ１０１）。このとき、上記のとおり所定の切替周期で青色光と緑色光とを切り替え、イメージセンサ２１２においても青色光と緑色光をそれぞれ分光して検出する。したがって、当該撮像処理において、青色光による分光画像と緑色光による分光画像の２つの分光画像が得られる。
【００４８】
なお、一例としては、焦点深度は５．６ｍｍ、ＬＥＤ２２２の色の切替周期は１００ｍｓｅｃ、フレームレートは３０ｆｐｓで撮像され、６４０×６４０ピクセルの画像が生成される。
【００４９】
次に、撮像された各分光画像は、プローブ２００のＩ／Ｏ回路２１３及び情報処理装置１００のＩ／Ｏ回路１１８を介して情報処理装置１００に送信される。各分光画像は、プロセッサ１１２の制御によってメモリ１１７に格納される。そして、プロセッサ１１２は、各分光画像及び処理するための指示命令（プログラム）をメモリ１１７から読みだして、各分光画像中の血管領域の抽出処理を実行する（Ｓ１０２）。なお、当該血管抽出処理は、一例として、各分光画像に対してヘッセ行列に基づく管状構造の抽出処理、２値化処理、画素値に基づく解析処理等を適宜組み合わせて用いることができる。
【００５０】
次に、上記血管抽出処理によって画像中に含まれる血管の座標位置が特定されると、プロセッサ１１２は、メモリ１１７に記憶された指示命令に基づいて、血管を示す一または複数の座標位置において光学濃度を算出する処理を実行する（Ｓ１０３）。なお、当該光学濃度は、一例として、血管として抽出された部分の画素値とその周辺の背景部分の平均画素値に基づいて算出される。
【００５１】
次に、プロセッサ１１２は、メモリ１１７に記憶された指示命令に基づいて、一または複数の座標位置における血液の酸素飽和度を示す指標を生成する処理を実行する（Ｓ１０４）。なお、当該酸素飽和度演算処理は、算出された光学濃度や、酸素化ヘモグロビン及び脱酸素化ヘモグロビンのモル吸収係数等を利用して実施される。
【００５２】
次に、上記酸素飽和度演算処理によって画像中の血管を示す一または複数の座標位置における酸素飽和度を示す指標が生成されると、プロセッサ１１２は、メモリ１１７に記憶された指示命令に基づいて、当該指標を各座標位置に対応付けて出力する処理を実行する（Ｓ１０５）。一例としては、情報処理装置１００のディスプレイ１１１に、プローブ２００から受信した分光画像のうちのいずれか、または上記処理の過程で各分光画像に基づいて作成された処理画像上に、各座標位置に基づいて各指標を配置して出力する。
【００５３】
以上により、プローブ２００で撮像された画像から血管内の血液の状態を示す指標として酸素飽和度に基づく指標を生成し、当該指標がディスプレイ１１１に出力するまでの一連の処理が終了する。なお、各処理の詳細は後述する。
【００５４】
５．血管抽出処理
図６は、本開示の一実施形態に係る情報処理装置１００において実行される処理フローを示す図である。具体的には、図６は、情報処理装置１００のプロセッサ１１２が、メモリ１１７に記憶された指示命令を実行することによって行われる処理フローを示す図である。
【００５５】
まず、プロセッサ１１２は、情報処理装置１００のＩ／Ｏ回路１１８においてプローブ２００によって撮像された生体組織の血管を含む画像を受信し、メモリ１１７に記憶するよう、Ｉ／Ｏ回路１１８及びメモリ１１７を制御する（Ｓ２０１）。
【００５６】
ここで、図７ａは、本開示の一実施形態に係るプローブ２００を介して撮像された画像の例を示す図である。具体的には、図７ａは、Ｓ２０１でメモリ１１７に記憶されたプローブ２００によって撮像された生体組織の血管を含む画像（分光画像）の例を示す画像である。なお、上記のとおり本実施形態においては青色光及び緑色光の２つの発光色によって撮影された分光画像がそれぞれ記憶される。したがって、特に図示はしないが、図７ａに示す分光画像がすくなくとも２つ記憶される。
【００５７】
次に、図６に戻り、プロセッサ１１２は、メモリ１１７に記憶された各分光画像をそれぞれ読みだして、画素ごとに、公知の方法によって、正規化処理を実行する（Ｓ２０２）。一例としては、画像中のもっとも暗い点を「黒」と、もっとも明るい点を最大限に明るくなるように画像中の明度を拡大する処理を実行する。なお、当該処理後の各画像（正規化処理画像）は、一端メモリ１１７に格納される。
【００５８】
図７ｂは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。具体的には、図７ｂは、正規化処理画像の例を示す図である。図７ａの分光画像と比較しても明らかなとおり、当該正規化処理を実施することによって、画像中の暗部（本実施形態においては血管に相当する部分）を背景に対してより際立たせることが可能となる。
【００５９】
次に、図６に戻り、プロセッサ１１２は、各正規化処理画像をメモリ１１７から読みだして、画素ごとに、ヘッセ行列による画像の解析によって、管状構造体（すなわち、血管に相当する構造体）を抽出するための処理を実行する（Ｓ２０３）。なお、当該処理については、「A. F. Frangi et al. Multiscale vessel enhancement filtering, Proceedings of MICCAI, 130-137, 1998」において報告された方法を含め、公知の方法を利用することができる。ヘッセ行列による画像解析によって管状構造体が抽出されたのちの各画像（管状構造体抽出画像）は、一端メモリ１１７に格納される。
【００６０】
図７ｃは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。具体的には、図７ｃは、管状構造体抽出画像の例を示す図である。図７ｂにおいて「黒」または黒に近い色で表示されていた血管のうち管状構造体として解析された部分が白く反転して表示される。
【００６１】
次に、図６に戻り、プロセッサ１１２は、各管状構造体抽出画像をメモリ１１７から読みだして、画素ごとに、２値化処理を実行する（Ｓ２０４）。具体的には、プロセッサ１１２は、０〜２５５のグレースケールで示された各画素値を、所定の閾値と比較して白と黒の２階調に変換する処理を実行する。なお、閾値は所望に応じて適宜設定することが可能である。２値化処理が行われたのちの各画像（２値化画像）は、一端メモリ１１７に格納される。
【００６２】
図７ｄは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。具体的には、図７ｄは、２値化画像の例を示す図である。図７ｄからも明らかなとおり、グレースケールで描かれていた図７ｃの画像が白と黒の２階調に変換されて表示される。これによって、以降の処理の高速化が可能となる。
【００６３】
なお、図７ａ及び図７ｄで示される通り、生体組織中には血管が重なっている領域１２や奥行き方向にずれた領域１１のために不鮮明に表示される領域が存在する。このような領域を含む画像に対して管状構造体抽出処理や２値化処理を実施した場合、管状構造体として抽出されるべき領域（図７ｃ及び図７ｄの白で表示された領域）であるにもかかわらず、管状構造体として抽出されない領域（図７ｃ及び図７ｄの領域１３及び１４中の黒く表示された領域）が存在する。
【００６４】
次に、図６に戻り、プロセッサ１１２は、再びＳ２０１の各分光画像をメモリ１１７から読み出し、平滑化処理を実行する（Ｓ２０５）。当該処理には、移動平均フィルタによる処理や、ガウシアンフィルタによる処理など、公知の平滑化処理を用いることが可能である。平滑化処理がなされた各画像（平滑化画像）は、一端メモリ１１７に格納される。
【００６５】
次に、プロセッサ１１２は、各平滑化画像をメモリ１１７から読みだして、Ｓ２０４の２値化処理によって管状構造体（血管）であると解析された領域以外の領域（つまり、図７ｄにおいて黒の階調で示された領域）について、画素ごとに画素値による解析処理を実行する（Ｓ２０６）。具体的には、プロセッサ１１２は、各平滑化画像について、画像全体の平均画素値を算出する。そして、プロセッサ１１２は、算出された平均画素値を閾値として、各画素の画素値と閾値とを比較する。画素値が閾値よりも小さい場合には、本来であれば血管として認識されるべき個所であるので、プロセッサ１１２は白の階調を割り当てる。また、プロセッサ１１２は、画素値が閾値よりも大きい場合には、プロセッサ１１２は黒の階調を割り当てる。この画素値による解析処理が行われたのちの各画像（画素値解析画像）は、一端メモリ１１７に格納される。
【００６６】
図７ｅは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。具体的には、画素値解析画像の例を示す図である。図７ｃ及び図７ｄにおいて説明したとおり、管状構造体抽出画像では血管であるにもかかわらず管状構造体として認識されない領域が存在する（図７ｃ及び図７ｄの領域１３及び領域１４等）。図７ｅに示す画素値解析処理画像においては、このような領域１３及び領域１４のうち、血管として解析されるべき領域に白の階調が割り当てられている。したがって、管状構造体抽出処理と画素値解析処理とを組み合わせて用いることで、より正確な血管領域の解析が可能となる。
【００６７】
次に、図６に戻り、プロセッサ１１２は、メモリ１１７に記憶された２値化画像と画素値解析画像を読み出し、両画像を合成する処理を行う（Ｓ２０７）。なお、当該合成方法は、公知の合成方法のいずれを適用してもよい。合成後の画像（合成画像）は、メモリ１１７に格納される。
【００６８】
図７ｆは、本開示の一実施形態に係る情報処理装置１００において処理された画像の例を示す図である。具体的には、図７ｆは、合成画像の例を示す図である。合成画像中、白の階調で示された領域が血管として認識された領域である。図７ｆからも明らかなとおり、図７ｃや図７ｄにおいて血管として解析することができなかった領域について、図７ｅに示す処理によって補間されて、より正確な血管領域の解析ができる。
【００６９】
なお、上記処理は、青色光及び緑色光で撮像された各分光画像に対して行われる。
【００７０】
以上により、プローブ２００で撮像された各分光画像から血管を抽出するための処理が終了する。
【００７１】
６．光学濃度算出処理
図８は、本開示の一実施形態に係る情報処理装置１００において実行される処理フローを示す図である。具体的には、図８は、情報処理装置１００のプロセッサ１１２が、メモリ１１７に記憶された指示命令を実行することによって行われる処理フローを示す図である。
【００７２】
まず、プロセッサ１１２は、メモリ１１７に記憶された合成画像（Ｓ２０７で生成された画像）を読みだして、白黒の反転処理を実行する（Ｓ３０１）。当該反転処理は公知の方法によって実行される。そして、プロセッサ１１２は、反転後の画像（反転画像）に基づいて、図６に記載した処理によって血管として認識されなかった領域、すなわち背景領域を特定する。次にプロセッサ１１２は、図６のＳ２０５の各平滑化画像をメモリ１１７から読み出し、背景領域として特定された領域に含まれる各画素の画素値を抽出する（Ｓ３０２）。次に、プロセッサ１１２は、抽出された各画素値に基づいて、背景領域の平均画素値を算出する（Ｓ３０３）。なお、背景領域の平均画素値は、光学濃度を算出する血管部の座標位置（ｘ，ｙ）に対して、座標位置（ｘ，ｙ）周辺の背景領域の平均画素値を用いる。当該周辺の背景領域は、座標位置（ｘ，ｙ）を中心としてあらかじめ決められたサイズを周辺領域としてもよいし、画像全体を格子で分割し座標位置（ｘ，ｙ）が含まれる格子内の背景領域を周辺領域としてもよい。そして、プロセッサ１１２は、図７ｆにおいて血管として認識された領域に対応する平滑化画像中の領域について、各画素の画素値と算出された背景領域の平均画素値から光学濃度を算出する（Ｓ３０４）。
【００７３】
具体的には、各画素における光学濃度Ｄ（ｘ，ｙ）は以下の式（Ｉ）によって算出される。
【数１】
2019005266.tif 000003
式（Ｉ）において、Ｄ（ｘ，ｙ）は座標位置（ｘ，ｙ）における光学濃度を、Ｉ（ｘ，ｙ）は座標位置（ｘ、ｙ）における透過光強度を、Ｉｉｎ（ｘ，ｙ）は座標位置（ｘ、ｙ）における入射光強度を表す。ここで、透過光強度は、平滑化画像中の血管部の座標位置（ｘ、ｙ）で特定される画素の画素値が用いられる。また、入射光強度は、Ｓ３０３によって算出された背景領域の平均画素値が用いられる。
【００７４】
上記式（Ｉ）により、各平滑化画像について、各画素ごとに光学濃度が算出される。これにより、光学濃度の算出処理が終了する。
【００７５】
７．酸素飽和度演算処理
プロセッサ１１２は、メモリ１１７に記憶された指示命令に基づいて、図６及び図８に示す各処理に基づいて得られた情報を利用して、血液の酸素飽和度を推定する処理を実行する。具体的には、座標位置（ｘ、ｙ）ごとに、以下の式（ＩＩ）を利用して酸素飽和度が推定される。
【数２】
2019005266.tif 000004
式（ＩＩ）において、Ｄ（λ）は、Ｓ３０４において算出された座標位置（ｘ、ｙ）における光学濃度を、ｓは座標位置（ｘ、ｙ）における血液の酸素飽和度、εＨｂＯ２及びεＨｂはそれぞれ酸素化ヘモグロビンと脱酸素化ヘモグロビンのモル吸収係数、ｃはヘモグロビンの全濃度、ｄは血管径を示す。
【００７６】
ここで、酸素飽和度ｓは、青色光で撮像された画像から算出された各数値を代入した式と、緑色光で撮像された画像から算出された各数値を代入した式の連立方程式を解くことにより演算される。すなわち、酸素飽和度ｓは、以下の式（ＩＩＩ）により演算される。
【数３】
2019005266.tif 000005
式（ＩＩＩ）において、Ψは青色光（λ1）で撮像された画像と緑色光（λ2）で撮像された画像の座標位置（ｘ、ｙ）における光学濃度の比（Ｄ（λ2）／Ｄ（λ1））を、Δλｎは［εＨｂＯ２（λｎ）−εＨｂ（λｎ）］（ｎは１または２）を表す。
【００７７】
プロセッサ１１２は、上記式（ＩＩＩ）に基づいて、画像中に含まれる血管に対応する一または複数の座標位置（ｘ、ｙ）の酸素飽和度を推定する。
【００７８】
８．出力処理
プロセッサ１１２は、メモリ１１７に記憶された指示命令に基づいて、推定された酸素飽和度を血管内の血液の状態を示す指標として出力する処理を実行する。図９は、本開示の一実施形態に係る情報処理装置１００から出力された画像の例を示す図である。具体的には、プロセッサ１１２は、各座標位置ごとに推定された酸素飽和度に応じて青から赤の各階調に分類し、分類された階調でその座標位置に対応する画素を表示するよう制御する。このとき、メモリ１１７に記憶された分光画像を構成する画素のうち、酸素飽和度が推定された座標位置に対応する画素を、分類された階調に置き換えて表示する。
【００７９】
以上より、本実施形態においては、各座標位置ごとに血管内の血液の状態を示す指標として酸素飽和度を算出することができるので、血液の酸素飽和度の分布マップを作成することが可能となり、酸素飽和度の低い地点や高い地点をより正確に分析することが可能となる。
【００８０】
９．変形例
上記実施形態において、血管内の血液の状態を示す指標として血液の酸素飽和度を推定したが、酸素飽和度に変えて、または酸素飽和度とともにヘモグロビンの全濃度を推定することが可能である。具体的には、式（ＩＩ）において、未知数は酸素飽和度ｓとヘモグロビン全濃度ｃと血管径ｄの積であるｃｄの２つである。血管径ｄは、例えば、血管に垂直方向の画素値の分布(プロファイル)から半値幅を血管径とするなど、公知の方法によって算出することができる。したがって、青色光及び緑色光から得られた画像に加えて、ヘモグロビンの吸収波長域にピーク波長が含まれるさらに別の光（たとえば、青緑色光）を照射して得られた画像から式（ＩＩ）で必要な数値を算出することで、酸素飽和度ｓに加えてヘモグロビン全濃度ｃを推定することが可能である。
【００８１】
また、血管内の血液の状態を示す指標として酸素飽和度及び／またはヘモグロビンの全濃度を利用したが、当該指標は、推定された各数値そのものではなく、推定された各数値を所定の範囲ごとに区切った分類であってもよい。すなわち、指標としては、推定された各数値そのものであってもよいし、その数値に基づいて加工された情報であってもよい。
【００８２】
また、血管内の血液の状態を示す指標として、分光画像中の所定の座標位置を所定の階調に置き換えてディスプレイ１１１に表示したが、必ずしも分光画像を用いる必要はない。たとえば、メモリ１１７に記憶された正規化画像、平滑化画像、合成画像等を用いることも可能である。さらに、ディスプレイ１１１に表示する際に図９のようにマップ画像形式で出力したが、マップ画像形式に限らず、生成された指標をディスプレイ１１１の所定の位置（たとえば画面右上）にその座標位置を示す指示線とともに表示してもよい。さらに、出力の形式としてディスプレイ１１１に表示することを説明したが、情報処理装置１００に接続されたプリンタから出力するようにしてもよい。
【００８３】
また、血管内の血液の状態を示す指標として、図９のように２次元のマップ画像形式で出力したが、抽出された血管に沿って推定された酸素飽和度をグラフ上にプロットするようにしてもよい。図１０は、本開示の一実施形態に係る情報処理装置１００から出力された画像の例を示す図である。具体的には、図９の線分１６上で算出された各酸素飽和度を各距離ごとにプロットしたグラフを示す。このように、マップ画像形式ではなく、グラフ形式で指標をディスプレイ１１１上に表示することも可能である。
【００８４】
また、上記実施形態においては、プローブ２００の同じＬＥＤ２２２から青色光と緑色光とを周期的に切り替えて発光する場合について説明したが、青色光と緑色光を発光するＬＥＤをあらかじめそれぞれ配置させることも可能である。また、光源としてマルチカラーＬＥＤを使用し、周期的に色を切り替えたが、白色光を用いることも可能である。この場合、通常のイメージセンサを含むカメラではなく、いわゆる分光カメラを用いるか、分光フィルタを用いて、青色光及び緑色光による各分光画像を撮影することが望ましい。
【００８５】
また、上記実施形態の血管抽出処理においては、正規化処理、２値化処理、平滑化処理、画素値による解析処理、合成処理等を行ったが、必ずしもこれらの処理を実施する必要はない。すなわち、撮影された各分光画像から血管部分が抽出されればよく、精度が十分であればヘッセ行列による解析処理のみを実施することも可能である。
【００８６】
また、上記実施形態では、プローブ２００にイメージセンサ２１２等を配置させたが、当該プローブ２００はシステム１のために専用に設けられたものである必要はない。すなわち、内視鏡や腹腔鏡の先端部分に本実施形態と同様に光源を配置してプローブとして利用することも可能である。
【００８７】
また、上記実施形態において、推定された酸素飽和度またはヘモグロビンの全濃度について、それぞれ状態の良し悪しを判断するための閾値を予め設定し、その閾値に応じて血管内の血液の状態の良し悪しを報知するようにしてもよい。たとえば、血管内の血液の状態が悪い場合には、ディスプレイ１１１上に「要再検査」や「手術の際注意が必要です」等の注意喚起を促す表示をするようにしてもよい。
【００８８】
本明細書で説明される処理及び手順は、実施形態において明示的に説明されたものによってのみならず、ソフトウェア、ハードウェア又はこれらの組み合わせによっても実現可能である。具体的には、本明細書で説明された処理及び手順は、集積回路、揮発性メモリ、不揮発性メモリ、磁気ディスク、光ストレージ等の媒体に、当該処理に相当するロジックを実装することによって実現される。また、本明細書で説明される処理及び手順は、それらの処理・手順をコンピュータプログラムとして実装し、情報処理装置やサーバ装置を含む各種のコンピュータに実行させることが可能である。
【００８９】
本明細書中で説明される処理及び手順が単一の装置、ソフトウェア、コンポーネント、モジュールによって実行される旨が説明されたとしても、そのような処理又は手順は、複数の装置、複数のソフトウェア、複数のコンポーネント、及び／又は、複数のモジュールによって実行されるものとすることができる。また、本明細書中で説明される各種情報が単一のメモリや記憶部に格納される旨説明されたとしても、そのような情報は、単一の装置に備えられた複数のメモリ又は複数の装置に分散して配置された複数のメモリに分散して格納されるものとすることができる。さらに、本明細書において説明されるソフトウェアおよびハードウェアの要素は、それらをより少ない構成要素に統合して、又は、より多い構成要素に分解することによって実現されるものとすることができる。
【符号の説明】
【００９０】
１００  情報処理装置
２００  プローブ
３００  光源制御装置
【図１】
2019005266.tif 000006
【図２】
2019005266.tif 000007
【図３ａ】
2019005266.tif 000008
【図３ｂ】
2019005266.tif 000009
【図４】
2019005266.tif 000010
【図５】
2019005266.tif 000011
【図６】
2019005266.tif 000012
【図７ａ】
2019005266.tif 000013
【図７ｂ】
2019005266.tif 000014
【図７ｃ】
2019005266.tif 000015
【図７ｄ】
2019005266.tif 000016
【図７ｅ】
2019005266.tif 000017
【図７ｆ】
2019005266.tif 000018
【図８】
2019005266.tif 000019
【図９】
2019005266.tif 000020
【図１０】
2019005266.tif 000021