(57)【要約】【課題】異なる時刻に取得した画像の相対的な明るさを正確に比較することができる医療用観察制御装置及び医療用観察システムを提供すること。【解決手段】医療用観察制御装置は、第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、第２の医療用画像を撮像する第２の撮像条件として、第１の撮像条件に関するパラメータを復元する復元設定部と、第２の撮像条件で観察対象を撮像するよう、撮像部と撮像部を保持する保持部とを制御する制御部と、第１の医療用画像と第２の医療用画像とを比較し、比較結果に応じて第１及び／又は第２の医療用画像の明るさを補正する補正部と、を備える。【選択図】図１
2020156597.tif 000002
【特許請求の範囲】
【請求項１】
第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、
第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、
前記第２の撮像条件で観察対象を撮像するよう、撮像部と前記撮像部を支持する支持部とを制御する制御部と、
前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、
を備える医療用観察制御装置。
【請求項２】
前記補正部は、第１の時刻に撮像された前記第１の医療用画像において設定される第１の比較領域の比較値と、前記第１の時刻の後の第２の時刻において撮像された前記第２の医療用画像であって、前記復元設定部が復元したパラメータに基づいて撮像条件が復元され、前記撮像部によって撮像された前記第２の医療用画像における、前記第１の比較領域に対応する位置に設定される第２の比較領域の各輝度値とを比較する、
請求項１に記載の医療用観察制御装置。
【請求項３】
前記補正部は、
前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、
前記第１の医療用画像及び前記第２の医療用画像の少なくとも一方の画像の明るさを、前記差分に基づいて補正する、
請求項２に記載の医療用観察制御装置。
【請求項４】
前記補正部は、
前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、
前記差分に基づいて、前記第２の時刻における撮像条件を補正する、
請求項２に記載の医療用観察制御装置。
【請求項５】
前記補正部は、前記撮像部の撮像領域を照明する照明光を出射する光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、レンズの絞り値のうちの少なくとも一つを補正する、
請求項４に記載の医療用観察制御装置。
【請求項６】
前記第１の医療用画像の画角と、前記第２の医療用画像の画角とを比較して、画角のずれを判定する画角判定部、
をさらに有する、
請求項２に記載の医療用観察制御装置。
【請求項７】
前記補正部による補正後の前記第１の医療用画像及び前記第２の医療用画像との間の明るさの変化量を算出する変化量算出部、
をさらに備える請求項１に記載の医療用観察制御装置。
【請求項８】
観察対象を撮像する医療用観察装置、及び、前記医療用観察装置を電気的に制御する制御装置を備えた医療用観察システムにおいて、
前記医療用観察装置は、
観察対象を拡大して撮像可能とする撮像部と、
複数のアーム部、及び当該複数のアーム部を接続する複数の関節部を有し、先端で前記撮像部を支持する支持部と、
を備え、
前記制御装置は、
第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、
第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、
前記第２の撮像条件で観察対象を撮像するよう、前記撮像部と前記支持部とを制御する制御部と、
前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、
を備える医療用観察システム。
【請求項９】
前記撮像部の撮像領域を照明する照明光を出射する光源装置、
をさらに備え、
前記補正部は、前記光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、及びレンズの絞り値のうちの少なくとも一つを補正する、
請求項８に記載の医療用観察システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被観察体の微小部位を観察する医療用観察制御装置及び医療用観察システムに関する。
【背景技術】
【０００２】
従来、被観察体である患者の脳や心臓等における微小部位の手術を行う際に該微小部位を観察するための医療用観察システムとして、複数のアーム部を有し、並進３自由度及び回転３自由度の計６自由度の動きを実現する支持部と、支持部の先端に設けられ、該微小部位を拡大する拡大光学系や撮像素子を有する顕微鏡部とを備えた光学式の顕微鏡システムが知られている（例えば、特許文献１を参照）。この顕微鏡システムを用いて手術を行う際、医師等の術者（ユーザ）は、顕微鏡部を移動させて所望の位置に配置して、術部を観察しながら手術を行う。特許文献１では、アーム部の位置や角度を記憶して、顕微鏡部の位置を復元が可能である。
【０００３】
近年、白色による通常観察とは別に、特殊光による特殊光観察を行なう観察方法が考案されている。具体的に、特殊光観察として、ＮＢＩ（Narrow  Band  Imaging）と呼ばれる技術、ＩＲＩ（Infra-Red  Imaging）と呼ばれる技術、ＡＦＩ（Auto  Fluorescence  Imaging）と呼ばれる技術、ＰＤＤ（Photodynamic  Diagnosis）と呼ばれる技術、などが挙げられる。
例えば、ＩＲＩでは、血中内で波長８０５ｎｍ付近の近赤外光に吸収ピークを持つインドシアニングリーン（Indocyanine  green：ＩＣＧ）という薬剤を造影剤として静脈注射し、波長が７５０〜８１０ｎｍ程度の励起光を照射して、８４０ｎｍ程度の蛍光を検出してＩＣＧの吸収による粘膜下層の血管部分の陰影を観察し、血管、リンパ管の走行状態を診断する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−２９９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、特殊光観察による手術では、手術前後の画像を相対的に比較することがある。例えば、ＩＲＩでは、手術前後の画像から、手術前後の血液の流れや流量を確認する。この際、手術前後の画像において、画像に関わる様々なパラメータ（画角や明るさに関するパラメータなど）を同一にする必要があった。顕微鏡部の位置の復元によって、手術前後で同じ像が得られたとしても、術部の照明の変化によって画像の明るさが変わると、正確な比較ができない場合があった。
【０００６】
本開示は、上記に鑑みてなされたものであって、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる医療用観察制御装置及び医療用観察システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本開示にかかる医療用観察制御装置は、第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、前記第２の撮像条件で観察対象を撮像するよう、撮像部と前記撮像部を支持する支持部とを制御する制御部と、前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、を備えることを特徴とする。
【０００８】
また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、第１の時刻に撮像された前記第１の医療用画像において設定される第１の比較領域の比較値と、前記第１の時刻の後の第２の時刻において撮像された前記第２の医療用画像であって、前記復元設定部が復元したパラメータに基づいて撮像条件が復元され、前記撮像部によって撮像された前記第２の医療用画像における、前記第１の比較領域に対応する位置に設定される第２の比較領域の各輝度値とを比較することを特徴とする。
【０００９】
また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、前記第１の医療用画像及び前記第２の医療用画像の少なくとも一方の画像の明るさを、前記差分に基づいて補正することを特徴とする。
【００１０】
また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、前記第１の医療用画像の前記第１の比較領域の輝度値と、前記第２の医療用画像の前記第２の比較領域の輝度値との差分を算出し、前記差分に基づいて、前記第２の時刻における撮像条件を補正することを特徴とする。
【００１１】
また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部は、前記撮像部の撮像領域を照明する照明光を出射する光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、レンズの絞り値のうちの少なくとも一つを補正することを特徴とする。
【００１２】
また、本開示にかかる医療用観察制御装置は、上記開示において、前記第１の医療用画像の画角と、前記第２の医療用画像の画角とを比較して、画角のずれを判定する画角判定部、をさらに有することを特徴とする。
【００１３】
また、本開示にかかる医療用観察制御装置は、上記開示において、前記補正部による補正後の前記第１の医療用画像及び前記第２の医療用画像との間の明るさの変化量を算出する変化量算出部、をさらに備えることを特徴とする。
【００１４】
また、本開示にかかる医療用観察システムは、観察対象を撮像する医療用観察装置、及び、前記医療用観察装置を電気的に制御する制御装置を備えた医療用観察システムにおいて、前記医療用観察装置は、観察対象を拡大して撮像可能とする撮像部と、複数のアーム部、及び当該複数のアーム部を接続する複数の関節部を有し、先端で前記撮像部を支持する支持部と、を備え、前記制御装置は、第１の医療用画像撮像時の撮像部の位置を含む第１の撮像条件に関するパラメータを記憶する記憶部と、第２の医療用画像を撮像する第２の撮像条件として、前記第１の撮像条件に関するパラメータを復元する復元設定部と、前記第２の撮像条件で観察対象を撮像するよう、前記撮像部と前記支持部とを制御する制御部と、前記第１の医療用画像と前記第２の医療用画像とを比較し、比較結果に応じて前記第１及び／又は前記第２の医療用画像の明るさを補正する補正部と、を備えることを特徴とする。
【００１５】
また、本開示にかかる医療用観察システムは、上記開示において、前記撮像部の撮像領域を照明する照明光を出射する光源装置、をさらに備え、前記補正部は、前記光源装置が出射する照明光による照度、前記撮像部におけるゲイン処理、シャッター速度、及びレンズの絞り値のうちの少なくとも一つを補正することを特徴とする。
【発明の効果】
【００１６】
本開示によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】図１は、実施の形態１に係る医療用観察システムの外観構成を示す斜視図である。
【図２】図２は、実施の形態１に係る医療用観察システムの制御装置の構成を示すブロック図である。
【図３】図３は、実施の形態１に係る医療用観察システムを用いて行われる手術の状況を模式的に示す図である。
【図４】図４は、実施の形態１に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。
【図５】図５は、手術前の画像（第１画像）の一例を模式的に示す図である。
【図６】図６は、手術後の画像（第２画像）の一例を模式的に示す図である。
【図７】図７は、計測結果の表示画像の一例を模式的に示す図である。
【図８】図８は、実施の形態２に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。
【図９】図９は、実施の形態３に係る医療用観察システムの制御装置の構成を示すブロック図である。
【図１０】図１０は、実施の形態３に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。なお、図面はあくまで模式的なものであり、図面の相互間においても互いの寸法の関係や比率が異なる部分が含まれる場合がある。
【００１９】
（実施の形態１）
図１は、実施の形態１に係る医療用観察システムの構成を示す図である。同図に示す医療用観察システム１は、被観察体の微細構造を拡大して撮像する顕微鏡としての機能を有する医療用観察装置（以下、観察装置という）２と、医療用観察システム１の動作を統括して制御する制御装置３と、観察装置２が撮像した画像を表示する表示装置４とを備える。制御装置３は、医療用観察制御装置に相当する。
【００２０】
観察装置２は、床面上を移動可能なベース部５と、ベース部５に支持される支持部６と、支持部６の先端に設けられて被観察体の微小部位を拡大して撮像する柱状の顕微鏡部７と、を備える。また、観察装置２には、光ファイバ等によって構成されたライトガイド８１を介して観察装置２に照明光を供給する光源装置８が接続される。光源装置８は、制御装置３の制御のもと、観察モードに応じて白色光や、特殊観察に応じた波長帯域の光（特殊光）を出射する。
【００２１】
観察装置２において、例えば、制御装置３と顕微鏡部７との間の信号伝送を行うための信号線（同軸ケーブル）を含む伝送ケーブルや、光源装置８から顕微鏡部７までの照明光の導光を行うためのライトガイドケーブル等を含むケーブル群が、ベース部５から顕微鏡部７にわたって配設されている。
【００２２】
支持部６は、第１関節部１１、第１アーム部２１、第２関節部１２、第２アーム部２２、第３関節部１３、第３アーム部２３、第４関節部１４、第４アーム部２４、第５関節部１５、第５アーム部２５、および第６関節部１６を有する。
【００２３】
第１関節部１１は、先端側で顕微鏡部７を回動可能に保持するとともに、基端側で第１アーム部２１の先端部に固定された状態で第１アーム部２１に保持される。第１関節部１１は円筒状をなし、高さ方向の中心軸である第１軸Ｏ1のまわりに回動可能に顕微鏡部７を保持する。第１アーム部２１は、第１関節部１１の側面から第１軸Ｏ1と直交する方向に延びる形状をなす。
【００２４】
第２関節部１２は、先端側で第１アーム部２１を回動可能に保持するとともに、基端側で第２アーム部２２の先端部に固定された状態で第２アーム部２２に保持される。第２関節部１２は円筒状をなしており、高さ方向の中心軸であって第１軸Ｏ1と直交する軸である第２軸Ｏ2のまわりに回動可能に第１アーム部２１を保持する。第２アーム部２２は略Ｌ字状をなし、Ｌ字の縦線部分の端部で第２関節部１２に連結する。
【００２５】
第３関節部１３は、先端側で第２アーム部２２のＬ字の横線部分を回動可能に保持するとともに、基端側で第３アーム部２３の先端部に固定された状態で第３アーム部２３に保持される。第３関節部１３は、円筒状をなしており、高さ方向の中心軸であって第２軸Ｏ2と直交する軸であり、かつ第２アーム部２２が延びる方向と平行な軸である第３軸Ｏ3のまわりに回動可能に第２アーム部２２を保持する。第３アーム部２３は先端側が円筒状をなしており、基端側に先端側の円筒の高さ方向と直交する方向に貫通する孔部が形成されている。第３関節部１３は、この孔部を介して第４関節部１４に回動可能に保持される。
【００２６】
第４関節部１４は、先端側で第３アーム部２３を回動可能に保持するとともに、基端側で第４アーム部２４に固定された状態で第４アーム部２４に保持される。第４関節部１４は円筒状をなしており、高さ方向の中心軸であって第３軸Ｏ3と直交する軸である第４軸Ｏ4のまわりに回動可能に第３アーム部２３を保持する。
【００２７】
第５関節部１５は、先端側で第４アーム部２４を回動可能に保持するとともに、基端側で第５アーム部２５に固定して取り付けられる。第５関節部１５は円筒状をなしており、高さ方向の中心軸であって第４軸Ｏ4と平行な軸である第５軸Ｏ5のまわりに第４アーム部２４を回動可能に保持する。第５アーム部２５は、Ｌ字状をなす部分と、Ｌ字の横線部分から下方へ延びる棒状の部分とからなる。第５関節部１５は、基端側で第５アーム部２５のＬ字の縦線部分の端部に取り付けられる。
【００２８】
第６関節部１６は、先端側で第５アーム部２５を回動可能に保持するとともに、基端側でベース部５の上面に固定して取り付けられる。第６関節部１６は円筒状をなしており、高さ方向の中心軸であって第５軸Ｏ5と直交する軸である第６軸Ｏ6のまわりに第５アーム部２５を回動可能に保持する。第６関節部１６の先端側には、第５アーム部２５の棒状の部分の基端部が取り付けられる。
【００２９】
以上説明した構成を有する支持部６は、顕微鏡部７における並進３自由度および回転３自由度の計６自由度の動きを実現する。
【００３０】
第１関節部１１〜第６関節部１６は、顕微鏡部７および第１アーム部２１〜第５アーム部２５の回動をそれぞれ禁止する電磁ブレーキを有する。各電磁ブレーキは、顕微鏡部７に設けられるアーム操作スイッチ７３（後述）が押下された状態で解除され、顕微鏡部７および第１アーム部２１〜第５アーム部２５の回動を許容する。なお、電磁ブレーキの代わりにエアブレーキを適用してもよい。また、第１関節部１１は、電磁ブレーキを有しない構成としてもよい。
【００３１】
各関節部には、上述した電磁ブレーキのほか、エンコーダ及びアクチュエータを搭載してもよい。エンコーダは、例えば、第１関節部１１に設けられている場合、第１軸Ｏ1における回転角度を検出する。アクチュエータは、例えばサーボモータ等の電動モータによって構成され、制御装置３からの制御により駆動され、関節部における回転を所定の角度だけ生じさせる。関節部における回転角度は、例えば顕微鏡部７の移動の前後において観察点が変化しないように顕微鏡部７を移動させるために必要な値として、各回転軸（第１軸Ｏ1〜第６軸Ｏ6）における回転角度に基づいて制御装置３によって設定される。このように、アクチュエータ等の能動的な駆動機構が設けられる関節部は、当該アクチュエータの駆動が制御されることにより能動的に回転する回転軸を構成する。
【００３２】
顕微鏡部７は、円筒状をなす筐体に、被観察体の像を拡大して撮像する撮像部や、第１関節部１１〜第６関節部１６における電磁ブレーキを解除して各関節部の回動を許容する操作入力を受け付けるアーム操作スイッチ、撮像部における拡大倍率および被観察体までの焦点距離を変更可能な変更スイッチが設けられる。
撮像部は、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）を用いて構成される二つの撮像素子を有する。これら撮像素子は、三次元画像生成用の、互いに視差を有する撮像信号をそれぞれ生成する。撮像信号は、デジタル信号として出力される。なお、撮像素子を一つ設けて、二次元画像生成用の撮像信号を生成する構成としてもよい。
また、撮像部には、撮像素子へ光を導光する光学系や、像の拡大率（ズーム倍率）を変更するための一つ又は複数のレンズからなる光学系、露光時間を制御するシャッター等が設けられる。
また、顕微鏡部７には、押しボタン式のスイッチであるアーム操作スイッチが設けられる。ユーザがアーム操作スイッチを押下している間、第１関節部１１〜第６関節部１６の電磁ブレーキが解除される。
【００３３】
制御装置３は、観察装置２が出力した撮像信号を受信し、この撮像信号に所定の信号処理を施すことによって表示用の３次元画像データを生成する。なお、制御装置３をベース部５の内部に設置して観察装置２と一体化してもよい。
【００３４】
図２は、実施の形態１に係る医療用観察システムの制御装置の構成を示すブロック図である。制御装置３は、復元設定部３１と、画像処理部３２と、補正部３３と、変化量算出部３４と、入力部３５と、記憶部３６と、制御部３７とを備える。なお、制御装置３には、制御装置３及び顕微鏡部７を駆動するための電源電圧を生成し、制御装置３の各部にそれぞれ供給するとともに、伝送ケーブルを介して顕微鏡部７に供給する電源部（図示略）などが設けられていてもよい。
【００３５】
復元設定部３１は、条件保持が指示された時点における復元パラメータを記憶部３６に記憶させ、復元指示された際に、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。復元パラメータとしては、光源の照度や、シャッター速度、ゲイン値、焦点距離、ズーム倍率、レンズの絞り値、各アーム部の姿勢（関節部の回転角度）などの顕微鏡部７の位置、及び撮像条件を復元するためのパラメータが挙げられる。
【００３６】
画像処理部３２は、顕微鏡部７が出力した撮像信号に対してノイズ除去や、必要に応じてＡ／Ｄ変換等の信号処理を行う。画像処理部３２は、信号処理後の撮像信号をもとに、表示装置４が表示する表示用の画像信号を生成する。画像処理部３２は、撮像信号に対して、所定の信号処理を実行して被写体画像を含む表示用の画像信号を生成する。ここで、画像処理部３２は、検波処理や、補間処理、色補正処理、色強調処理、及び輪郭強調処理等の各種画像処理等の公知の画像処理を行う。画像処理部３２は、生成した画像信号を表示装置４に出力する。
【００３７】
また、画像処理部３２が、入力されたフレームの撮像信号を基に、各フレームの所定のＡＦ用評価値を出力するＡＦ処理部、及び、ＡＦ処理部からの各フレームのＡＦ用評価値から、最も合焦位置として適したフレームまたはフォーカスレンズ位置等を選択するようなＡＦ演算処理を行うＡＦ演算部を有していてもよい。
【００３８】
補正部３３は、撮像時刻が異なる画像の輝度値、例えば、手術前の画像における比較領域の輝度値と、手術後の画像における比較領域の輝度値とを比較する。補正部３３は、二つの画像における比較領域の輝度値の差分を算出する。例えば、補正部３３は、各比較領域の代表値を算出し、代表値の差分を算出する。
比較領域は、入力部３５を介して設定されるか、画角に対して予め設定される。二つの画像において、比較画像の画角に対する位置は同じである。
代表値は、比較領域における画素値の加算値、平均値、最頻値、最大値、最小値のいずれかである。
【００３９】
また、補正部３３は、算出した差分に基づいて、第１画像の輝度値又は第２画像の輝度値を補正する。補正部３３は、例えば、差分をもとに、第２画像の輝度値を補正する。なお、例えばＩＲＩにおいて、流量計測のみを行う場合は、流量計測位置のみを補正するようにしてもよい。
【００４０】
変化量算出部３４は、補正部３３による補正後の、第１画像及び第２画像から、明るさの変化量を算出する。例えばＩＲＩにおいて、血液の流量計測を行う場合は、明るさ（輝度値）の差分を血液の流量の変化量として算出する。
【００４１】
入力部３５は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。
【００４２】
記憶部３６は、フラッシュメモリやＤＲＡＭ（Dynamic  Random  Access  Memory）等の半導体メモリを用いて実現され、通信情報データ（例えば、通信用フォーマット情報など）や、上述した復元パラメータなどが記録されている。なお、記憶部３６は、制御部３７が実行する各種プログラム等が記録されていてもよい。
【００４３】
制御部３７は、制御装置３及び顕微鏡部７を含む各構成部の駆動制御、及び各構成部に対する情報の入出力制御などを行う。制御部３７は、記憶部３６に記録されている通信情報データ（例えば、通信用フォーマット情報など）を参照して制御信号を生成し、該生成した制御信号を顕微鏡部７へ送信する。また、制御部３７は、伝送ケーブルを介して、顕微鏡部７に対して制御信号を出力する。
【００４４】
なお、制御部３７は、顕微鏡部７及び制御装置３の同期信号、及びクロックを生成する。顕微鏡部７への同期信号（例えば、撮像タイミングを指示する同期信号等）やクロック（例えばシリアル通信用のクロック）は、図示しないラインで顕微鏡部７に送られ、この同期信号やクロックを基に、顕微鏡部７が駆動する。
【００４５】
上述した復元設定部３１、画像処理部３２、補正部３３及び制御部３７は、プログラムが記録された内部メモリ（図示略）を有するＣＰＵ（Central  Processing  Unit）等の汎用プロセッサやＡＳＩＣ（Application  Specific  Integrated  Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡ(Field  Programmable  Gate  Array：図示略)を用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。
【００４６】
表示装置４は、制御装置３が生成した３次元画像データを制御装置３から受信し、該３次元画像データに対応する３次元画像を表示する。このような表示装置４は、液晶または有機ＥＬ（Electro  Luminescence）からなる表示パネルを備える。
なお、表示装置４のほか、スピーカーやプリンタ等を用いて情報を出力する出力装置を備えてもよい。
【００４７】
次に、以上の構成を有する医療用観察システム１を用いて行われる手術の概要を説明する。図３は、医療用観察システム１を用いた手術の状況を模式的に示す図である。具体的には、図３は、ユーザである術者２０１が被観察体である患者２０２の頭部を手術している状況を模式的に示す図である。術者２０１は、３次元画像用の眼鏡３０１を装着して表示装置４が表示する３次元画像を目視しながら、顕微鏡部７のアーム操作スイッチを押下した状態で顕微鏡部７を把持して所望の位置まで移動させ、顕微鏡部７の撮像視野を決定した後、アーム操作スイッチから指を離す。これにより、第１関節部１１〜第６関節部１６では電磁ブレーキが動作し、顕微鏡部７の撮像視野が固定される。その後、術者２０１は、拡大倍率および被観察体までの焦点距離の調整等を行う。表示装置４が３次元画像を表示するため、術者２０１は３次元画像を通して術部を立体的に把握することができる。
【００４８】
続いて、制御装置３が行う画像取得処理について、図４〜図６を参照して説明する。図４は、実施の形態１に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。図４に示すフローチャートは、ＩＲＩによって、手術前後の画像から血液の流量変化を測定する例を示す。
【００４９】
まず、制御部３７は、顕微鏡部７に画像を撮像させて、手術前の第１画像（第１の医療用画像）を取得する（ステップＳ１０１）。この際、画像処理部３２が、撮像信号をもとに第１画像を生成する。顕微鏡部７によって撮像されると、制御部３７は、復元設定部３１に、第１画像を撮像した際の撮像条件（第１の撮像条件）に関する復元パラメータを保存させる。
【００５０】
ステップＳ１０１に続くステップＳ１０２において、復元設定部３１は、撮像時点（制御部３７からの保存指示時点）における復元パラメータを記憶部３６に記憶させ、復元パラメータを保存する。
【００５１】
復元設定部３１は、生成された第１画像において、手術後の画像（後述する第２画像）と輝度値を比較するための比較領域を設定する（ステップＳ１０３）。比較領域は、ユーザが入力部３５を介して入力して設定してもよいし、予め設定された条件、例えば、画角に対する所定の位置や、設定する領域においてすべての画素の輝度値が閾値以下である領域などの条件によって設定してもよい。
【００５２】
図５は、手術前の画像（第１画像）の一例を模式的に示す図である。なお、以下では、二次元の画像を例に説明するが、実際には術者は三次元の画像を観察する。
図５に示すように、第１画像の右下には、比較領域Ｒ1が設定される。比較領域Ｒ1は、例えば、第１画像において、術後でも明るさや形状が変化しない、術部以外の領域が設定される。
【００５３】
その後、術者によって手術が実施される。この間、制御部３７は、顕微鏡部７の位置、及び各アーム部の姿勢を復元する姿勢復元指示の入力の有無を確認する（ステップＳ１０４）。制御部３７は、姿勢復元指示の入力がなければ（ステップＳ１０４：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、手術後に術者が、入力部３５を介して姿勢復元指示を入力すると、制御部３７が、姿勢復元指示の入力があると判断し（ステップＳ１０４：Ｙｅｓ）、ステップＳ１０５に移行する。
【００５４】
ステップＳ１０５において、復元設定部３１は、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。制御部３７は、復元設定部３１が読み出した復元パラメータに基づいて第２の撮像条件を設定し、第１関節部１１〜第６関節部１６を各軸のまわりに回転させ、顕微鏡部７の位置を復元するとともに、顕微鏡部７が撮像する条件を復元パラメータに基づいて設定する。
【００５５】
その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第２画像（第２の医療用画像）を取得する（ステップＳ１０６）。この際、画像処理部３２が、撮像信号をもとに第２画像を生成する。
【００５６】
図６は、手術後の画像（第２画像）の一例を模式的に示す図である。図６に示すように、術後の第２画像には、ＩＣＧによって血液が描出される（領域Ｂ1参照）。また、第２画像には、第１画像に対応する位置に、比較領域Ｒ2が設定される。
【００５７】
ステップＳ１０６に続くステップＳ１０７において、補正部３３が、第１画像における比較領域Ｒ1の輝度値と、第２画像における比較領域Ｒ2の輝度値との差分を算出する。
【００５８】
その後、補正部３３が、差分に基づいて第１画像又は第２画像の明るさを補正する（ステップＳ１０８）。実施の形態１では、補正部３３が、差分をもとに第２画像の明るさを補正する。補正部３３は、例えば、差分値に基づいてゲイン値を調整して、第２画像の明るさを補正する。なお、補正部３３は、第１画像の明るさを補正してもよいし、第１画像及び第２画像の明るさをそれぞれ補正してもよい。
【００５９】
ステップＳ１０８に続くステップＳ１０９において、変化量算出部３４は、第１画像と、補正部３３による補正後の第２画像とから、対応する画素ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する。なお、変化量算出部３４は、予め設定された画素数及び画素位置で組をなす画素群ごとに変化量を算出してもよい。この場合、画素群を構成する各画素の輝度値の代表値同士の差分を算出する。代表値は、平均値、最頻値、最大値、最小値などである。
【００６０】
その後、制御部３７は、ステップＳ１０９において算出された、血液の流量の変化量に関する情報を出力する（ステップＳ１１０）。この際、画像処理部３１が、変化量に応じて色を付与し、第１画像又は第２画像にその色を対応する位置に重畳した重畳画像や、変化量を数値で表現した表示画像等を、変化量に関する情報として作成する。
【００６１】
図７は、計測結果の表示画像の一例を模式的に示す図である。図７では、第１画像（図５参照）と第２画像（図６参照）との輝度値の差分に応じて色を重畳した画像を示している。図７では、重畳した領域（領域Ｂ11）の色をハッチングで表現している。図７に示すように、輝度値の差分に基づいて色を重畳することによって、手術前と手術後との血液の流れの変化を確認することができる。なお、重畳した領域（領域Ｂ11）では、変化量に応じて色や濃淡が異なる。
【００６２】
以上説明した実施の形態１は、撮像時刻が異なり、後の画像が顕微鏡部７の位置が、先の画像を撮像した位置に復元して撮像された画像を比較して、変化量を測定する構成において、一方の画像に第１の比較領域を設定し、この第１の比較領域の明るさ（輝度値）と、他方の画像における、第１の比較領域に対応する位置の第２の比較領域の明るさ（輝度値）とを比較して、画像の明るさを調整するようにしたので、二つの画像の明るさを揃えた画像として明るさを比較できる。実施の形態１によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる。
【００６３】
（実施の形態２）
次に、実施の形態２について、図８を参照して説明する。図８は、実施の形態２に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。実施の形態２に係る医療用観察システムは、上述した実施の形態１の医療用観察システム１と同じ構成であるため、説明を省略する。以下、実施の形態１とは異なる処理について説明する。図８に示すフローチャートは、実施の形態１と同様に、ＩＲＩによって、手術前後の画像から血液の流量変化を測定する例を示す。
【００６４】
まず、制御部３７は、顕微鏡部７に画像を撮像させて、手術前の第１画像を取得する（ステップＳ２０１）。その後、復元設定部３１は、撮像時点（制御部３７からの保存指示時点）における復元パラメータを記憶部３６に記憶させ、復元パラメータを保存する（ステップＳ２０２）。復元設定部３１は、生成された第１画像において、手術後の画像（第２画像）と輝度値を比較するための比較領域を設定する（ステップＳ２０３）。
【００６５】
その後、術者によって手術が実施される。この間、制御部３７は、顕微鏡部７の位置、及び各アーム部の姿勢を復元する姿勢復元指示の入力の有無を確認する（ステップＳ２０４）。制御部３７は、姿勢復元指示の入力がなければ（ステップＳ２０４：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、手術後に術者が、入力部３５を介して姿勢復元指示を入力すると、制御部３７が、姿勢復元指示の入力があると判断し（ステップＳ２０４：Ｙｅｓ）、ステップＳ２０５に移行する。
【００６６】
ステップＳ２０５において、復元設定部３１は、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第２画像を取得する（ステップＳ２０６）。
【００６７】
ステップＳ２０６に続くステップＳ２０７において、補正部３３が、第１画像における比較領域の輝度値と、第２画像における比較領域の輝度値との差分を算出する。
【００６８】
その後、補正部３３が、差分に基づいて照明光の光量を補正する（ステップＳ２０８）。実施の形態２では、補正部３３が、第１画像の明るさと同等になるように、差分をもとに光源の照度を補正する。補正部３３は、例えば、差分値に基づいて照度（明るさ）の指示値を調整して、光源の照度を補正する。
【００６９】
制御部３７は、光源の照度が補正された照明光によって顕微鏡部７に画像を撮像させて、手術後の第３画像を取得する（ステップＳ２０９）。
【００７０】
ステップＳ２０９に続くステップＳ２１０において、変化量算出部３４は、第１画像と、補正部３３による補正後の第２画像とから、画素位置ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する。
【００７１】
その後、制御部３７は、ステップＳ２１０において算出された、血液の流量の変化量に関する情報を出力する（ステップＳ２１１）。この際、変化量に関する情報は、画像処理部３１によって、変化量に応じて色を付与し、第１画像又は第２画像にその色を対応する位置に重畳した重畳画像（図７参照）や、変化量を数値で表現した表示画像等を作成される。
【００７２】
以上説明した実施の形態２は、撮像時刻が異なり、後の画像が顕微鏡部７の位置が、先の画像を撮像した位置に復元して撮像された画像を比較して、変化量を測定する構成において、一方の画像に第１の比較領域を設定し、この第１の比較領域の明るさ（輝度値）と、他方の画像における、第１の比較領域に対応する位置の第２の比較領域の明るさ（輝度値）とを比較して、比較結果に基づいて光源の照度を補正することによって画像の明るさを揃えるようにしたので、得られる画像そのものの明るさを揃えて画像を比較できる。実施の形態２によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる。
【００７３】
なお、実施の形態２において、ステップＳ２０９で第３画像を取得後に、この第３画像の輝度値と、第１画像の輝度値とを比較して、ステップＳ２０７以降の照明光の調整処理を繰り返してもよい。
【００７４】
また、実施の形態２では、補正部３３が、差分に基づいて光源の照度を補正する例について説明したが、撮像素子におけるゲイン処理や、シャッター速度、レンズの絞り値等の画角に変化を及ぼさないパラメータを補正するようにしてもよいし、光源の照度を含む上述したパラメータのうちの二つ以上のパラメータを補正してもよい。
【００７５】
（実施の形態３）
次に、実施の形態３について、図９、１０を参照して説明する。実施の形態３は、実施の形態１の制御装置３に代えて制御装置３Ａを備える以外は、上述した実施の形態と同じであるため、制御装置３Ａ以外の構成等の説明を省略する。
【００７６】
制御装置３Ａは、復元設定部３１と、画像処理部３２と、補正部３３と、変化量算出部３４と、入力部３５と、記憶部３６と、制御部３７と、画角判定部３８とを備える。制御装置３Ａの構成は、画角判定部３８を追加した以外は制御装置３と同じ構成である。以下、実施の形態１とは異なる構成である画角判定部３８について説明する。
【００７７】
画角判定部３８は、撮像時刻の異なる画像であって、一方の画像の画角に対して、撮像位置等が復元された他方の画像の画角の位置を検出し、画角のずれ量と閾値とを比較する。記憶部３６には、画角のずれについて、許容されるずれ量が予め閾値として記憶されている。
【００７８】
図１０は、実施の形態３に係る医療用観察システムの制御装置が行う処理の流れを示すフローチャートである。図１０に示すフローチャートは、実施の形態１と同様に、ＩＲＩによって、手術前後の画像から血液の流量変化を測定する例を示す。
【００７９】
まず、制御部３７は、顕微鏡部７に画像を撮像させて、手術前の第１画像を取得する（ステップＳ３０１）。その後、復元設定部３１は、撮像時点（制御部３７からの保存指示時点）における復元パラメータを記憶部３６に記憶させ、復元パラメータを保存する（ステップＳ３０２）。復元設定部３１は、生成された第１画像において、手術後の画像（第２画像）と輝度値を比較するための比較領域を設定する（ステップＳ３０３）。
【００８０】
その後、術者によって手術が実施される。この間、制御部３７は、顕微鏡部７の位置、及び各アーム部の姿勢を復元する姿勢復元指示の入力の有無を確認する（ステップＳ３０４）。制御部３７は、姿勢復元指示の入力がなければ（ステップＳ３０４：Ｎｏ）、入力の有無の確認を繰り返す。これに対し、手術後に術者が、入力部３５を介して姿勢復元指示を入力すると、制御部３７が、姿勢復元指示の入力があると判断し（ステップＳ３０４：Ｙｅｓ）、ステップＳ３０５に移行する。
【００８１】
ステップＳ３０５において、復元設定部３１は、記憶部３６に記憶されている復元パラメータを読み出して、顕微鏡部７の位置や、撮像条件を復元する。その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第２画像を取得する（ステップＳ３０６）。
【００８２】
ステップＳ３０６に続くステップＳ３０７において、画角判定部３８が、第１画像の画角と、第２画像の画角とのずれを検出し、画角調整が必要か否かを判断する。画角判定部３８は、パターンマッチング等の公知の手法を用いて第１画像の画角と、第２画像の画角とを合わせ、画角のずれ量を算出する。画角判定部３８は、画角がずれた方向のずれ量を算出する。画角判定部３８は、算出したずれ量と、閾値とを比較して、ずれ量が閾値よりも大きければ（ステップＳ３０７：Ｙｅｓ）、画角調整が必要であると判断し、ステップＳ３０８に移行する。
【００８３】
制御部３７は、画角判定部３８が算出したずれ量に応じて、アーム部及び顕微鏡部７を移動させて、顕微鏡部７が撮像する画角の位置を調整する（ステップＳ３０８）。この際、必要に応じて顕微鏡部７内部の光学系を移動させる。その後、制御部３７は、復元された状態において顕微鏡部７に画像を撮像させて、手術後の第３画像を取得する（ステップＳ３０９）。
【００８４】
ステップＳ３０９に続くステップＳ３１０において、補正部３３が、第１画像における比較領域の輝度値と、第３画像における、第１画像の比較領域に対応する位置の比較領域の輝度値との差分を算出する。
【００８５】
その後、補正部３３が、差分に基づいて第１画像又は第３画像の明るさを補正する（ステップＳ３１１）。実施の形態３では、実施の形態１と同様に、補正部３３が、差分をもとに第３画像の明るさを補正する。
【００８６】
ステップＳ３１１に続くステップＳ３１２において、変化量算出部３４は、第１画像と、補正部３３による補正後の第３画像とから、画素位置ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する。
【００８７】
一方、ステップＳ３０７において、補正部３３は、算出したずれ量と、閾値とを比較して、ずれ量が閾値以下であれば（ステップＳ３０７：Ｎｏ）、画角調整が不要であると判断し、ステップＳ３１３に移行する。
【００８８】
ステップＳ３１３において、補正部３３が、第１画像における比較領域の輝度値と、第２画像における比較領域の輝度値との差分を算出する。補正部３３が、差分に基づいて第１画像又は第２画像の明るさを補正する（ステップＳ３１４）。その後、変化量算出部３４は、第１画像と、補正部３３による補正後の第２画像とから、画素位置ごとに、明るさ（輝度値）の差分を血液の流量の変化量として算出する（ステップＳ３１５）。
【００８９】
制御部３７は、ステップＳ３１２又はＳ３１５において算出された、血液の流量の変化量に関する情報を出力する（ステップＳ３１６）。この際、変化量に関する情報は、画像処理部３１によって、変化量に応じて色を付与し、第１画像又は第２画像にその色を対応する位置に重畳した重畳画像（図７参照）や、変化量を数値で表現した表示画像等を作成される。
【００９０】
以上説明した実施の形態３は、撮像時刻が異なり、後の画像が顕微鏡部７の位置が、先の画像を撮像した位置に復元して撮像された画像を比較して、変化量を測定する構成において、一方の画像に第１の比較領域を設定し、この第１の比較領域の明るさ（輝度値）と、他方の画像における、第１の比較領域に対応する位置の第２の比較領域の明るさ（輝度値）とを比較して、画像の明るさを調整するようにしたので、二つの画像の明るさを揃えた画像として明るさを比較できる。実施の形態３によれば、異なる時刻に取得した画像の相対的な明るさを正確に比較することができる。
【００９１】
また、実施の形態３は、復元によって撮像された画像（第２画像）の画角が、復元前の画像（第１画像）の画角に対してずれていると判断した場合に、画角を調整して再度画像を撮像するようにしたので、第１画像に対する計測箇所の漏れを抑制して計測結果を出力することができる。
【００９２】
ここまで、本発明を実施するための形態を説明してきたが、本発明は、上述した実施の形態によってのみ限定されるべきものではない。例えば、支持部６は、２つのアーム部および該２つのアーム部の一方を他方に対して回動可能に連結する関節部からなる組を少なくとも１組有していればよい。
【００９３】
なお、実施の形態１〜３の各処理において、白色光によって合焦処理を実施した後、特殊光による第１画像や、第２画像、第３画像を取得するようにしてもよい。白色光で合焦処理することによって、ＩＲＩ等の特殊光の波長帯域の光と比して、観察対象に対して明確に合焦した画像を得ることができる。
【００９４】
また、医療用観察装置を、設置場所の天井から吊り下げて配置する構成としてもよい。
【００９５】
また、上述した実施の形態１〜３では、支持部６が顕微鏡部７を支持する例を説明したが、支持部６は、顕微鏡部７に限らず、撮像可能な構成を有する部材を支持してもよい。例えば、支持部６が、先端において、硬性内視鏡を保持するようにしてもよいし、軟性内視鏡の先端を保持するようにしてもよい。支持部６が内視鏡を保持する場合、ベース部５及び支持部６は、内視鏡ホルダーとして機能する。
【００９６】
このように、本発明は、特許請求の範囲に記載した技術的思想を逸脱しない範囲内において、さまざまな実施の形態等を含み得るものである。
【００９７】
以上のように、本開示にかかる医療用観察システムは、異なる時刻に取得した画像の相対的な明るさを正確に比較するのに有用である。
【符号の説明】
【００９８】
１  医療用観察システム
２  医療用観察装置
３  制御装置
４  表示装置
５  ベース部
６  支持部
７  顕微鏡部
８  光源装置
１１  第１関節部
１２  第２関節部
１３  第３関節部
１４  第４関節部
１５  第５関節部
１６  第６関節部
２１  第１アーム部
２２  第２アーム部
２３  第３アーム部
２４  第４アーム部
２５  第５アーム部
３１  復元設定部
３２  画像処理部
３３  補正部
３４  変化量算出部
３５  入力部
３６  記憶部
３７  制御部
３８  画角判定部
【図１】
2020156597.tif 000003
【図２】
2020156597.tif 000004
【図３】
2020156597.tif 000005
【図４】
2020156597.tif 000006
【図５】
2020156597.tif 000007
【図６】
2020156597.tif 000008
【図７】
2020156597.tif 000009
【図８】
2020156597.tif 000010
【図９】
2020156597.tif 000011
【図１０】
2020156597.tif 000012