(57)【要約】【課題】術前の血流のシミュレーション結果と施術後の血流の結果とをリアルタイムで比較することができる画像処理装置、医療用観察システム、画像処理方法およびプログラムを提供する。【解決手段】医療用画像処理装置は、観察対象を撮像した医療用観察画像に基づいて、観察対象に流れる血流を解析する血流解析部９１３と、予め取得された観察対象の３次元モデルに流れる血流のシミュレーション結果と観察対象に流れる血流の解析結果との差分を検出する差分検出部９１５と、差分検出部９１５が検出した差分結果を表示装置８へ出力する出力部９１６と、を備える。【選択図】図４
2020160505.tif 000002
【特許請求の範囲】
【請求項１】
観察対象を撮像した医療用観察画像に基づいて、前記観察対象に流れる血流を解析する血流解析部と、
予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーション結果と前記観察対象に流れる血流の解析結果との差分結果を生成する差分検出部と、
を備える、
医療用画像処理装置。
【請求項２】
請求項１に記載の医療用画像処理装置であって、
外部から入力される視差を有する３次元画像データであって、少なくとも臓器を含む観察対象に白色光および赤外光の少なくとも一方を照射した際に左右一対の光学系の各々によって結像された２つの被写体像の各々を受光することによって生成された３次元画像データに基づいて、前記観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を検出する距離検出部をさらに備え、
前記医療用観察画像は、
前記３次元画像データであり、
前記血流解析部は、
前記距離検出部が検出した前記距離情報に基づいて、前記観察対象の修復前後に赤外光が照射された際に生成された２つの前記３次元画像データに基づいて、前記観察対象に流れる修復前後の各々の血流を解析する、
医療用画像処理装置。
【請求項３】
請求項２に記載の医療用画像処理装置であって、
前記血流解析部が解析した前記観察対象に流れる修復前後の各々の血流の解析結果に基づいて、修復前後の各々の血流解析画像を生成する血流解析画像生成部をさらに備え、
前記差分検出部は、
予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーショ画像と前記修復前後の各々の血流解析画像との差分結果を生成する、
医療用画像処理装置。
【請求項４】
請求項３に記載の医療用画像処理装置であって、
前記差分検出部が検出した前記差分結果を表示装置へ出力する出力部をさらに備え、
前記出力部は、
外部から入力された指示信号に基づいて、前記差分検出部が検出した修復前後の各々の差分結果、前記観察対象に流れる修復前後の各々の血流の解析結果、前記修復前後の各々の血流解析画像および前記シミュレーショ画像のいずれか一つ以上を選択して表示装置へ出力する、
医療用画像処理装置。
【請求項５】
請求項４に記載の医療用画像処理装置であって、
前記観察対象の修復前後に赤外光が照射された際に生成された２つの前記３次元画像データに対して、コントラストを強調する画像処理を行うコントラスト画像処理部をさらに備え、
前記血流解析部は、
前記コントラスト画像処理部によってコントラストが強調された前記２の前記３次元画像データに基づいて、前記観察対象に流れる修復前後の各々の血流を解析する、
医療用画像処理装置。
【請求項６】
請求項３〜５のいずれか一つに記載の医療用画像処理装置であって、
前記血流解析部は、
前記血流の速さ、前記血流の流量および前記血流の流れのパターンのいずれか１つ以上を解析する、
医療用画像処理装置。
【請求項７】
請求項３〜６のいずれか一つに記載の医療用画像処理装置であって、
前記距離情報に基づいて、前記観察対象の３次元モデルを作成する３次元モデル作成部と、
前記３次元モデルに基づいて、該３次元モデルに流れる血流をシミュレーションするシミュレーション部と、
前記３次元モデル作成部が作成した前記３次元モデルと前記シミュレーション部がシミュレーションしたシミュレーション結果と、に基づいて、前記シミュレーショ画像を生成するシミュレーション画像生成部と、
を備え、
前記差分検出部は、前記シミュレーション画像生成部が生成したシミュレーション画像と、前記修復前後の各々の血流解析画像との差分結果を生成する、
医療用画像処理装置。
【請求項８】
請求項７に記載の医療用画像処理装置であって、
前記３次元モデルを任意の形状に加工する３次元モデル加工部をさらに備え、
前記シミュレーション部は、
前記３次元モデル加工部によって前記任意の形状に加工された前記３次元モデルに流れる血流をシミュレーションする、
医療用画像処理装置。
【請求項９】
請求項８に記載の医療用画像処理装置であって、
前記距離情報に基づいて、前記観察対象に適用可能な複数の置換部材を表示装置へ出力する形状選択ガイド部をさらに備え、
前記３次元モデル加工部は、
前記複数の置換部材のいずれかを指定する指定信号に基づいて、前記３次元モデルを加工した修復後の３次元モデルを生成する、
医療用画像処理装置。
【請求項１０】
請求項１〜９のいずれか一つに記載の医療用画像処理装置と、
左右一対の光学系の各々によって結像された２つの被写体像の各々を受光可能な撮像部を有し、前記観察対象に白色光および赤外光の少なくとも一方を照射可能であり、かつ、前記観察対象で反射された反射光および前記観察対象で発光した発光を前記撮像部が受光することによって前記医療用観察画像を生成する観察装置と、
を備える、
医療用観察システム。
【請求項１１】
医療用画像処理装置が実行する画像処理方法であって、
観察対象を撮像した医療用観察画像に基づいて、前記観察対象に流れる血流を解析し、
予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーション結果と前記観察対象に流れる血流の解析結果との差分を検出し、
前記シミュレーション結果と前記観察対象に流れる血流の解析結果との差分結果を生成する、
画像処理方法。
【請求項１２】
医療用画像処理装置に実行させるプログラムであって、
観察対象を撮像した医療用観察画像に基づいて、前記観察対象に流れる血流を解析し、
予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーション結果と前記観察対象に流れる血流の解析結果との差分を検出し、
前記シミュレーション結果と前記観察対象に流れる血流の解析結果との差分結果を生成する、
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、被観察体の微小部位を撮像して生成された撮像信号に対して画像処理を行う医療用画像処理装置、医療用観察システム、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
従来、Ｘ線診断治療装置等の医療用観察システムでは、予め血管内検査シミュレーション装置で得られたシミュレーション画像と、Ｘ線検出によって生成された電気信号に対して画像処理が施された画像と、を表示することによって治療の全般的な状況を把握する技術が知られている（例えば特許文献１参照）。この技術では、シミュレーション画像として、実際の患者のデータに基づいて実施された情報、ＣＴ画像および磁気共鳴イメージング装置等のモダリティ画像を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２００２７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、実際の臓器は、術中において形状が変化し、術前のシミュレーション画像の形状と乖離があるため、上述した特許文献１のように術前のシミュレーション画像を用いて行った血流のシミュレーション結果と実際の施術中の血流の結果とが異なることが多いうえ、術前の血流のシミュレーション結果と実際の術後の血流の結果とをリアルタイムで比較していなかったため、術中においてリアルタイムで比較しながら行える技術が望まれていた。
【０００５】
本開示は、上記に鑑みてなされたものであって、術前の血流のシミュレーション結果と施術中の血流の結果とをリアルタイムで比較することができる医療用画像処理装置、医療用観察システム、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本開示に係る医療用画像処理装置は、観察対象を撮像した医療用観察画像に基づいて、前記観察対象に流れる血流を解析する血流解析部と、予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーション結果と前記観察対象に流れる血流の解析結果との差分結果を生成する差分検出部と、を備える。
【０００７】
また、本開示に係る医療用画像処理装置は、上記開示において、外部から入力される視差を有する３次元画像データであって、少なくとも臓器を含む観察対象に白色光および赤外光の少なくとも一方を照射した際に左右一対の光学系の各々によって結像された２つの被写体像の各々を受光することによって生成された３次元画像データに基づいて、前記観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を検出する距離検出部をさらに備え、前記医療用観察画像は、前記３次元画像データであり、前記血流解析部は、前記距離検出部が検出した前記距離情報に基づいて、前記観察対象の修復前後に赤外光が照射された際に生成された２つの前記３次元画像データに基づいて、前記観察対象に流れる修復前後の各々の血流を解析する。
【０００８】
また、本開示に係る医療用画像処理装置は、上記開示において、前記血流解析部が解析した前記観察対象に流れる修復前後の各々の血流の解析結果に基づいて、修復前後の各々の血流解析画像を生成する血流解析画像生成部をさらに備え、前記差分検出部は、予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーショ画像と前記修復前後の各々の血流解析画像との差分結果を生成する。
【０００９】
また、本開示に係る医療用画像処理装置は、上記開示において、前記差分検出部が検出した前記差分結果を表示装置へ出力する出力部をさらに備え、前記出力部は、外部から入力された指示信号に基づいて、前記差分検出部が検出した修復前後の各々の差分結果、前記観察対象に流れる修復前後の各々の血流の解析結果、前記修復前後の各々の血流解析画像および前記シミュレーショ画像のいずれか一つ以上を選択して表示装置へ出力する。
【００１０】
また、本開示に係る医療用画像処理装置は、上記開示において、前記観察対象の修復前後に赤外光が照射された際に生成された２つの前記３次元画像データに対して、コントラストを強調する画像処理を行うコントラスト画像処理部をさらに備え、前記血流解析部は、前記コントラスト画像処理部によってコントラストが強調された前記２の前記３次元画像データに基づいて、前記観察対象に流れる修復前後の各々の血流を解析する。
【００１１】
また、本開示に係る医療用画像処理装置は、上記開示において、前記血流解析部は、前記血流の速さ、前記血流の流量および前記血流の流れのパターンのいずれか１つ以上を解析する。
【００１２】
また、本開示に係る医療用画像処理装置は、上記開示において、前記距離情報に基づいて、前記観察対象の３次元モデルを作成する３次元モデル作成部と、前記３次元モデルに基づいて、該３次元モデルに流れる血流をシミュレーションするシミュレーション部と、前記３次元モデル作成部が作成した前記３次元モデルと前記シミュレーション部がシミュレーションしたシミュレーション結果と、に基づいて、前記シミュレーショ画像を生成するシミュレーション画像生成部と、を備え、前記差分検出部は、前記シミュレーション画像生成部が生成したシミュレーション画像と、前記修復前後の各々の血流解析画像との差分結果を生成する。
【００１３】
また、本開示に係る医療用画像処理装置は、上記開示において、前記３次元モデルを任意の形状に加工する３次元モデル加工部をさらに備え、前記シミュレーション部は、前記３次元モデル加工部によって前記任意の形状に加工された前記３次元モデルに流れる血流をシミュレーションする。
【００１４】
また、本開示に係る医療用画像処理装置は、上記開示において、前記距離情報に基づいて、前記観察対象に適用可能な複数の置換部材を表示装置へ出力する形状選択ガイド部をさらに備え、前記３次元モデル加工部は、前記複数の置換部材のいずれかを指定する指定信号に基づいて、前記３次元モデルを加工した修復後の３次元モデルを生成する。
【００１５】
また、本開示に係る医療用観察システムは、上記開示の医療用画像処理装置と、左右一対の光学系の各々によって結像された２つの被写体像の各々を受光可能な撮像部を有し、前記観察対象に白色光および赤外光の少なくとも一方を照射可能であり、かつ、前記観察対象で反射された反射光および前記観察対象で発光した発光を前記撮像部が受光することによって前記医療用観察画像を生成する観察装置と、を備える。
【００１６】
また、本開示に係る画像処理方法は、医療用画像処理装置が実行する画像処理方法であって、観察対象を撮像した医療用観察画像に基づいて、前記観察対象に流れる血流を解析し、予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーション結果と前記観察対象に流れる血流の解析結果との差分を検出し、前記シミュレーション結果と前記観察対象に流れる血流の解析結果との差分結果を生成する。
【００１７】
また、本開示に係るプログラムは、医療用画像処理装置に実行させるプログラムであって、観察対象を撮像した医療用観察画像に基づいて、前記観察対象に流れる血流を解析し、予め取得された前記観察対象の３次元モデルに流れる血流のシミュレーション結果と前記観察対象に流れる血流の解析結果との差分を検出し、前記シミュレーション結果と前記観察対象に流れる血流の解析結果との差分結果を生成する。
【発明の効果】
【００１８】
本開示によれば、術前の血流のシミュレーション結果と施術中の血流の結果とをリアルタイムで比較することができるという効果を奏する。
【図面の簡単な説明】
【００１９】
【図１】図１は、実施の形態１に係る医療用観察システムの全体構成を示す図である。
【図２】図２は、実施の形態１に係る顕微鏡部と顕微鏡部の周辺の構成を示す拡大斜視図である。
【図３】図３は、実施の形態１に係る医療用観察システムの機能構成を示すブロック図である。
【図４】図４は、実施の形態１に係る画像処理部の詳細な構成を示す機能構成を示すブロック図である。
【図５】図５は、実施の形態１に係る画像処理部が実行する処理の概要を示すフローチャートである。
【図６】図６は、実施の形態１に係る修復前の大動脈瘤の３次元モデルを模式的に示す図である。
【図７】図７は、修復後の大動脈瘤の３次元モデルを模式的に示す図である。
【図８】図８は、修復前の赤外血流画像の一例を示す。
【図９】図９は、修復前の赤血流解析画像の一例を示す。
【図１０】図１０は、修復前の血流解析画像の別の一例を示す。
【図１１】図１１は、修復前のシミュレーション画像に流れる血流を模式的に示す図である。
【図１２】図１２は、実施の形態１に係る血流解析画像生成部によって生成された修復前の血流解析画像を模式的に示す図である。
【図１３】図１３は、実施の形態１に係る差分検出部が検出した修復前の差分画像を模式的に示す図である。
【図１４】図１４は、修復後の赤外血流画像の一例を示す。
【図１５】図１５は、修復後の赤血流解析画像の一例を示す。
【図１６】図１６は、修復後の血流解析画像の別の一例を示す。
【図１７】図１７は、実施の形態２に係る画像処理部の詳細な構成を示すブロック図である。
【図１８】図１８は、実施の形態２に係る画像処理部が実行する処理の概要を示すフローチャートである。
【図１９】図１９は、上述した図１８の血流シミュレーション画像生成処理の概要を示すフローチャートである。
【図２０】図２０は、実施の形態２に係る３次元モデル作成部が生成する３次元モデルを模式的に示す図である。
【図２１】図２１は、修復前のシミュレーション画像を模式的に示す図である。
【図２２】図２２は、修復前のシミュレーション画像を模式的に示す図である。
【図２３】図２３は、修復前のシミュレーション画像の別の一例を模式的に示す図である。
【図２４】図２４は、修復前のシミュレーション画像の別の一例を模式的に示す図である。
【図２５】図２５は、上述した図１８の修復前血流解析処理の概要を示すフローチャートである。
【図２６】図２６は、上述した図１８の修復後シミュレーション画像生成処理の概要を示すフローチャートである。
【図２７】図２７は、実施の形態２に係る３次元モデル加工部が生成する修復後の３次元モデルを模式的に示す図である。
【図２８】図２８は、修復後のシミュレーション画像を模式的に示す図である。
【図２９】図２９は、修復後のシミュレーション画像を模式的に示す図である。
【図３０】図３０は、上述した図１８の修復後血流解析処理の概要を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本開示を実施するための形態（以下、「実施の形態」という）を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものではない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。
【００２１】
（実施の形態１）
〔医療用観察システムの概略構成〕
図１は、実施の形態１に係る医療用観察システムの全体構成を示す図である。
図１に示す医療用観察システム１は、被観察体の微小部位を拡大して観察する顕微鏡としての機能を有する医療用の観察装置２と、光ファイバ等によって構成されたライトガイド４を介して観察装置２に照明光を供給する光源装置３と、観察装置２が撮像した画像を表示する表示装置８と、医療用観察システム１の動作を統括的に制御する制御装置９と、を備える。
【００２２】
〔観察装置の概略構成〕
まず、観察装置２の概略構成について説明する。
観察装置２は、被観察体の微小部位を観察する顕微鏡部５と、顕微鏡部５の基端部に接続され、顕微鏡部５を回動可能に支持する支持部６と、支持部６の基端部を回動可能に保持し、床面上を移動可能なベース部７と、を備える。
【００２３】
図２は、顕微鏡部５と顕微鏡部５の周辺の構成を示す拡大斜視図である。
顕微鏡部５は、円柱状の外観を有し、その内部に、ズーム機能およびフォーカス機能を有する光学系と、光学系が結像した被写体像を受光して光電変換を行うことによって画像信号を生成する撮像素子（図示略）と、被観察体に照明光を照射する光出射部（図示略）と、を有する。また、顕微鏡部５の側面には、観察装置２の動作指示の入力を受け付ける入力部２５を構成する各種スイッチが設けられている。顕微鏡部５の下端部の開口面には、内部の光学系等を保護するカバーガラスが設けられている（図示略）。術者等のユーザは、顕微鏡部５を把持した状態で各種スイッチを操作しながら、顕微鏡部５を移動したり、顕微鏡部５の角度を変更したり、観察装置２のモードを変更したり、ズームまたはフォーカス動作を行ったりする。このため、ユーザは、光学系の光軸の方向または顕微鏡部５の撮像視野の中心方向を直感的に把握することができ、顕微鏡部５を所望の位置へ容易に移動させることができる。なお、顕微鏡部５の形状は、円筒状に限定されることなく、例えば多角筒状であってもよい。
【００２４】
図１に戻り、観察装置２の構成の説明を続ける。
支持部６は、先端側（顕微鏡部５側）から順に、第１関節部６１、第１アーム部７１と、第２関節部６２、第２アーム部７２と、第３関節部６３と、第３アーム部７３と、第４関節部６４と、第４アーム部７４と、第５関節部６５と、第５アーム部７５と、第６関節部６６と、が連結されている。
【００２５】
第１関節部６１は、先端側で顕微鏡部５を、この顕微鏡部５の光軸と一致する第１軸Ｏ１のまわりを回動可能に保持するとともに、基端側で第１アーム部７１の先端部に固定された状態で第１アーム部７１に保持される。
【００２６】
第２関節部６２は、先端側で第１アーム部７１を第１軸Ｏ１と直交する第２軸Ｏ２のまわりを回動可能に保持するとともに、基端側で第２アーム部７２に保持される。同様に、第３関節部６３〜第６関節部６６は、先端側で第２アーム部７２〜第４アーム部７４をそれぞれ回動可能に保持するとともに、基端側で第３アーム部７３〜第５アーム部７５の先端部にそれぞれ固定された状態で保持される。
【００２７】
第６関節部６６は、先端側で第５アーム部７５を回動可能に保持するとともに、基端側でベース部７に固定された状態で保持される。
【００２８】
第２アーム部７２〜第５アーム部７５は、第３軸Ｏ３〜第６軸Ｏ６をそれぞれ回転軸として回動可能である。第４軸Ｏ４および第５軸Ｏ５は、第２軸Ｏ２とそれぞれ平行である。第３軸Ｏ３と第４軸Ｏ４、第５軸Ｏ５と第６軸Ｏ６は、それぞれ直交する。
【００２９】
第１関節部６１〜第６関節部６６は、それぞれの先端側の顕微鏡部５、第１アーム部７１〜第５アーム部７５の回動を禁止する電磁ブレーキ（図示略）および検出部として機能する角度センサ（図示せず）をそれぞれ有する。電磁ブレーキは、顕微鏡部５の入力部２５が入力を受け付ける解除指示に応じて解除される。顕微鏡部５および第１アーム部７１〜第５アーム部７５は、電磁ブレーキが解除された場合、第１関節部６１〜第６関節部６６に対してそれぞれ回動可能な状態となる。以下、顕微鏡部５、第１アーム部７１〜第５アーム部７５が第１関節部６１〜第６関節部６６に対して、それぞれ回動可能である状態をオールフリーモードという。なお、電磁ブレーキの代わりにエアブレーキを適用してもよい。
【００３０】
第１関節部６１〜第６関節部６６には、顕微鏡部５、第１アーム部７１〜第５アーム部７５の回動をそれぞれアシストするためのアクチュエータ（図示略）が設けられている。また、第１関節部６１〜第６関節部６６には、各関節部の位置、速度、加速度、回転角度、回転速度、回転加速度、発生トルク等の少なくとも一部をそれぞれ検出するための検出部として機能する各種センサ（図示略）が設けられている。
【００３１】
以上の構成を有する支持部６は、顕微鏡部５における並進３自由度および回転３自由度の計６自由度の動きを実現する。なお、実施形態１に係る支持部６では、全てのアクチュエータを設ける必要がなく、適宜変更してもよい。例えば、支持部６の第１アーム部７１〜第５アーム部７５の一部にアクチュエータを設ければよい。
【００３２】
光源装置３は、制御装置９の制御のもと、ライトガイド４を介して観察装置２に白色光または赤外光の照明光を供給する。光源装置３は、キセノンランプやメタルハライドランプ等の放電ランプ、ＬＥＤ（Light  Emitting  Diode）やＬＤ（Laser  Diode）等の固体発光素子、レーザ光源またはハロゲンランプ等の発光部材等を用いて構成される。
【００３３】
表示装置８は、制御装置９が生成した表示画像（映像信号）や医療用観察システムに関する各種情報を表示する。表示装置８は、液晶や有機ＥＬ（Electro  Luminescence）等を用いて構成される。表示装置８は、２Ｄ画像または３Ｄ画像を表示する。
【００３４】
制御装置９は、医療用観察システム１の各部を統括的に制御する。制御装置９は、メモリと、ＣＰＵ（Central  Processing  Unit）等の汎用プロセッサやＡＳＩＣ（Application  Specific  Integrated  Circuit）やＧＰＵ（Graphics  Processing  Unit）等の特定の機能を実行する各種演算回路等のハードウェアを有するプロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡ(Field  Programmable  Gate  Array：図示略)を用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。なお、制御装置９の詳細な構成は、後述する。
【００３５】
〔医療用観察システムの機能構成〕
次に、上述した医療用観察システム１の機能構成について説明する。図３は、医療用観察システム１の機能構成を示すブロック図である。
【００３６】
〔観察装置の構成〕
まず、観察装置２の機能構成について説明する。
観察装置２は、顕微鏡部５と、支持部６と、駆動部２３と、検出部２４と、入力部２５と、第１の制御部２６と、を備える。
【００３７】
顕微鏡部５は、観察対象である被観察体の像を拡大して撮像することによって画像信号を生成する撮像部２１と、光源装置３から供給された照明光を被観察体に向けて照射する光出射部２２と、を備える。
【００３８】
撮像部２１は、ズームおよびフォーカス機能を有する左右一対の光学系と、この左右一対の光学系によって結像された被観察体の像を受光して光電変換を行うことによって視差を有する３次元画像データ２つの撮像素子と、を有する。撮像素子は、ＣＣＤ（Charge  Coupled  Device）またはＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）を用いて構成される。撮像部２１が生成する撮像信号は、伝送ケーブルを介して制御装置９に伝送される。なお、撮像部２１が生成した撮像信号に対してＥ／Ｏ変換を行うことによって光信号によって制御装置９へ伝送してもよい。なお、撮像部２１は、例えば２メガピクセル（例えば１９２０×１０８０ピクセルの所謂２Ｋの解像度）以上の解像度、好ましくは８メガピクセル（例えば３８４０×２１６０ピクセルの所謂４Ｋの解像度）以上の解像度、より好ましくは３２メガピクセル（例えば７６８０×４３２０ピクセルの所謂８Ｋの解像度）以上の解像度があればよい。
【００３９】
光出射部２２は、１または複数のレンズを用いて構成された照明光学系を有する。光出射部２２は、ライトガイド４を介して光源装置３から供給された白色光または赤外光等の照明光を、撮像部２１の撮像方向と同じ方向へ照明光を照射する。なお、光出射部２２は、顕微鏡部５にＬＥＤ（Light  Emitting  Diode）やレーザ光源等を設けることによって、ライトガイド等の光伝送を省略してもよい。
【００４０】
支持部６は、上述した図１および図２のように、顕微鏡部５を回動可能に支持する。支持部６は、顕微鏡部５における並進３自由度および回転３自由度の計６自由度の動きを実現する。
【００４１】
駆動部２３は、上述した第１関節部６１〜第６関節部６６にそれぞれ設けられる電磁ブレーキおよびアクチュエータを有する。電磁ブレーキは、オールフリーモード動作の際に入力部２５が入力を受け付ける解除指示にしたがって解除される。アクチュエータは、検出部２４による状態検出結果に応じて、後述する制御装置９から送信されてくる制御信号に応じて動作する。
【００４２】
検出部２４は、観察装置２の状態情報を逐次検出する。観察装置２の状態情報は、撮像部２１の位置、フォーカスおよびズームに関する情報、第１関節部６１〜第６関節部６６の位置、速度、加速度、回転角度、回転速度、回転加速度、発生トルクの少なくとも一部に関する情報、第１アーム部７１〜第５アーム部７５の位置、速度、加速度の少なくとも一部に関する情報、ならびに電動視野移動モード（ピボット動作モード若しくはＸＹ動作モード）、オールフリーモード等の動作に関する情報を含む。検出部２４は、これらの情報を検出するための各種センサを有する。具体的には、検出部２４は、基準方向に対して第１アーム部７１〜第５アーム部７５（第１軸Ｏ１〜第６軸Ｏ６）それぞれの角度を検出する第１角度センサ部２４ａ〜第６角度センサ部２４ｆを有する。ここで、基準方向とは、観察装置２（第１アーム部７１〜第５アーム部７５）が床に設置されているときを基準としたときの重力方向（鉛直方向）である。即ち、実施形態１では、基準方向を０度として説明する。もちろん、基準方向は、観察装置２（第１アーム部７１〜第５アーム部７５）の設置場所によって変化する。例えば、観察装置２（第１アーム部７１〜第５アーム部７５）の設置場所が天井懸架の場合、床設置のときと比べて基準方向が１８０度異なる。また、観察装置２（第１アーム部７１〜第５アーム部７５）の設置場所が壁固定（垂直な壁に固定）の場合、床設置のときと比べて基準方向が９０度異なる。なお、第１角度センサ部２４ａが検出する第１軸Ｏ１の方向と撮像部２１の撮像方向とが同一の場合、第１角度センサ部２４ａを省略してもよい。
【００４３】
ここで、電動視野移動モード（ＸＹ動作モード）は、支持部６を構成する複数の関節部の軸の一部を固定し、他の軸の動きによって撮像部２１の撮像視野を上下左右に変更可能な動作モードである。具体的には、電動視野移動モード（ＸＹ動作モード）は、第４軸Ｏ４〜第６軸Ｏ６を固定したまま、第２軸Ｏ２と第３軸Ｏ３のみを電動で動作させることによって、撮像部２１の撮像視野を上下左右に変更可能な動作モードである。
【００４４】
また、ピボット動作モードは、撮像部２１の撮像視野の中心方向の１点で固定した状態で、その１点を頂点とした円錐面上を顕微鏡部５が支持部６の動きによって移動する旋回動作であり、ポイントロック動作とも呼ばれる。このピボット動作モードの旋回軸は、円錐の高さ方向の中心軸である。ピボット動作モードでは、固定点と撮像部２１との距離が一定に保たれる。手術の際には、例えば手術部位が上述した固定点として選ばれる。このようなピボット動作モードによれば、手術部位を等距離で異なる角度から観察することができるため、ユーザが手術部位をより正確に把握することができる。
【００４５】
入力部２５は、撮像部２１および駆動部２３に対する動作指示の入力を受け付ける。入力部２５は、駆動部２３が有する電磁ブレーキを解除してオールフリーモードを指示する入力を受け付けるアーム操作スイッチ、撮像部２１におけるフォーカスおよびズーム操作をそれぞれ指示する入力を受け付けるフォーカススイッチおよびズームスイッチ、電動視野移動モードの指示入力を受け付ける電動視野移動モードスイッチ、ならびに、パワーアシストモードの指示入力を受け付けるパワーアシストスイッチを有する。入力部２５を構成する各種スイッチやボタン等は、図２に示すように、顕微鏡部５の側面に設けられる。なお、図２では、入力部２５を構成する各種スイッチやボタン等の一部を記載している。なお、実施形態１では、入力部２５が第１入力部として機能する。
【００４６】
第１の制御部２６は、入力部２５が入力を受け付けた動作指示または後述する制御装置９から入力された動作指示に応じて撮像部２１および駆動部２３の動作を制御する。また、第１の制御部２６は、後述する制御装置９の第２の制御部９４と連携して観察装置２を統括的に制御する。第１の制御部２６は、メモリと、ＣＰＵやＡＳＩＣ等のハードウェアを有するプロセッサを用いて構成される。
【００４７】
〔光源装置の構成〕
次に、光源装置３の構成について説明する。
光源装置３は、第１の光源部３１と、第２の光源部３２と、を有する。
【００４８】
第１の光源部３１は、制御装置９の制御のもと、ライトガイド４を介して白色光を観察装置２の光出射部２２へ供給する。第１の光源部３１は、白色ＬＥＤ（Light  Emitting  Diode）やキセノンランプ等を用いて構成される。
【００４９】
第２の光源部３２は、ライトガイド４を介して、蛍光物質を励起する赤外光を観察装置２の光出射部２２へ供給する。第２の光源部３２は、制御装置９の制御のもと、蛍光物質を励起する赤外光（波長帯域７００〜１０００ｎｍ）を供給する。第２の光源部３２は、ＩＣＧ（Indocyanine  Green）観察に用いられる赤外光（７００〜１０００ｎｍ）を照射可能な半導体レーザ素子と所定の波長帯域のみを透過させるフィルタ等を用いて構成される。なお、以下においては、赤外光として説明するが、これに限定されることなく、例えば、ヘマトポルフィリン誘導体等の光感受性物質を腫瘍組織に予め蓄積させて蛍光を観察させるＰＤＤ（Photo  Dynamic  Diagnosis）観察に用いられる光（波長帯域４０５ｎｍ近傍）、およびコラーゲン等の蛍光物質からの自家発光を観察するＡＦＩ（Auto  Fluorescence  Imaging）観察に用いられる光（波長帯域３９０〜４７０ｎｍ＋波長帯域５４０〜５６０ｎｍ）であってもよい。
【００５０】
〔制御装置の構成〕
次に、制御装置９の機能構成について説明する。
制御装置９は、画像処理部９１と、入力部９２と、記録部９３と、第２の制御部９４と、通信部９５と、を備える。
【００５１】
画像処理部９１は、観察装置２から伝送された光信号の撮像信号に対して、Ｅ／Ｏ変換を行った後に、所定の画像処理を行って表示装置８が表示する表示用の表示画像（映像信号）を生成する。ここで、画像処理としては、色補正、色強調、輪郭強調およびマスク処理等の各種画像処理等が挙げられる。画像処理部９１は、メモリと、ＧＰＵまたはＦＰＧＡ等のハードウェアを有するプロセッサを用いて構成される。なお、画像処理部９１の詳細な構成は、後述する。
【００５２】
入力部９２は、キーボード、マウス、タッチパネル等のユーザインタフェースを用いて実現され、各種情報の入力を受け付ける。
【００５３】
記録部９３は、フラッシュメモリやＤＲＡＭ（Dynamic  Random  Access  Memory）等の半導体メモリを用いて構成され、医療用観察システム１が実行する各種プログラムや処理中のデータを一時的に記録するプログラム記録部９３１を有する。
【００５４】
第２の制御部９４は、医療用観察システム１の各部を統括的に制御する。第２の制御部９４は、プログラムが記録された内部メモリ（図示略）を有するＣＰＵ等の汎用プロセッサやＡＳＩＣ等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて実現される。また、プログラマブル集積回路の一種であるＦＰＧＡを用いて構成するようにしてもよい。なお、ＦＰＧＡにより構成される場合は、コンフィグレーションデータを記憶するメモリを設け、メモリから読み出したコンフィグレーションデータにより、プログラマブル集積回路であるＦＰＧＡをコンフィグレーションしてもよい。第２の制御部９４は、入力部９２の操作内容を判定する判定部９４１と、判定部９４１の判定結果に基づいて、光源装置３が照射する照明光を切り替える照明制御部９４２と、を有する。
【００５５】
通信部９５は、外部と通信可能であり、第２の制御部９４の制御のもと、外部のサーバからＣＴ画像データやＭＩＲ画像データを取得する。具体的には、通信部９５は、予めＣＴ装置やＭＩＲ装置等によって生成さえた施術対象の被検体の臓器を含む観察対象の３次元モデルおよび３次元モデルに流れる血流のシミュレーション結果を外部から取得する。
【００５６】
〔画像処理装置の詳細な構成〕
次に、上述した画像処理部９１の詳細な構成について説明する。
図４は、画像処理部９１の詳細な構成を示す機能構成を示すブロック図である。
図４に示す画像処理部９１は、コントラスト画像処理部９１１と、距離検出部９１２と、血流解析部９１３と、血流解析画像生成部９１４と、差分検出部９１５と、出力部９１６と、を備える。なお、実施の形態１では、画像処理部９１が医療用画像処理装置として機能する。
【００５７】
コントラスト画像処理部９１１は、観察装置２から入力された２つの３次元画像データであって、観察対象の修復前後に赤外光が照射された際に生成された２つの３次元画像データに対して、コントラストを強調する画像処理を行って距離検出部９１２へ出力する。
【００５８】
距離検出部９１２は、コントラスト画像処理部９１１から入力された３次元画像データに基づいて、観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を検出し、この距離情報を血流解析部９１３へ出力する。具体的には、距離検出部９１２は、周知のステレオ法を用いて観察対象（臓器）の距離情報を検出する。なお、距離検出部９１２は、観察対象（臓器）の形状や位置を検出してもよい。
【００５９】
血流解析部９１３は、観察対象を撮像した医療用観察画像に基づいて、観察対象に流れる血流を解析する。具体的には、血流解析部９１３は、距離検出部９１２が算出した距離情報に基づいて、観察対象の修復前後に赤外光が照射された際に生成された２つの３次元画像データに基づいて、修復前後の各々の観察対象（臓器）に流れる血流を解析し、この解析結果を血流解析画像生成部９１４へ出力する。例えば、血流解析部９１３は、距離検出部９１２が算出した距離情報に基づいて、観察対象である臓器の血管の太さを検出し、検出した血管の太さと周知の液体の流体力学とに基づいて、血流の流れ、血流の速さ、血流の流量、血流の流れのパターンを解析する。
【００６０】
血流解析画像生成部９１４は、血流解析部が解析した血流の解析結果に基づいて、血流解析画像を生成し、この血流解析画像を差分検出部９１５へ出力する。具体的には、通信部９５を介して予め取得された３次元モデルに、血流解析部９１３が解析した解析結果を合成または重畳した画像を血流解析画像として生成する。
【００６１】
差分検出部９１５は、通信部９５を介して予め取得された観察対象の３次元モデルに流れる血流のシミュレーション結果と血流解析部９１３によって解析された観察対象に流れる血流の解析結果との差分結果を生成し、この生成した差分結果を出力部９１６へ出力する。また、差分検出部９１５は、通信部９５を介して予め取得された観察対象の３次元モデルに流れる血流のシミュレーショ画像と血流解析画像生成部９１４によって生成された修復前後の各々の血流解析画像との差分結果を生成し、この差分結果を出力部９１６へ出力してもよい。
【００６２】
出力部９１６は、入力部９２または入力部２５から入力された指示信号に基づいて、差分検出部９１５が検出した差分結果、修復前後の各々の血流の解析結果、修復前後の各々の血流解析画像およびシミュレーション画像のいずれか一つ以上を選択して表示装置８へ出力する。なお、出力部９１６は、差分検出部９１５が検出した差分結果、修復前後の各々の血流の解析結果、修復前後の各々の血流解析画像およびシミュレーション画像のいずれか一つ以上を選択して表示装置８へ出力するだけでなく、修復前後の各々の血流の解析結果、修復前後の各々の血流解析画像およびシミュレーション画像のいずれか一つ以上を外部のサーバ、例えば外部のＨＤＤ（Hard  Disk  Drive）等を備えるサーバやメモリカード等を備える端末装置や処理装置へ送信してもよい。
【００６３】
〔画像処理部の処理〕
次に、画像処理部９１が実行する処理について説明する。図５は、画像処理部９１が実行する処理の概要を示すフローチャートである。なお、以下においては、観察対象として大動脈瘤の血流等をシミュレーションする処理について説明する。図６は、修復前の大動脈瘤の３次元モデルを模式的に示す図である。図７は、修復後の大動脈瘤の３次元モデルを模式的に示す図である。図６および図７において、大動脈Ｏ１にある大動脈瘤Ｏ２を人工血管Ｏ３に置換する際の血流のシミュレーションについて説明する。
【００６４】
図５に示すように、まず、画像処理部９１は、通信部９５を介して血流シミュレーション画像データおよび観察装置２から赤外光による修復前の３Ｄ画像データを取得する（ステップＳ１０１）。具体的には、画像処理部９１は、通信部９５を介して外部のサーバ（図示略）からＣＴ装置やＭＲＩ装置等によって生成された被検体、例えば施術前後の臓器に流れる血流シミュレーション画像データを取得する。さらに、画像処理部９１は、観察装置２が赤外光を照射した際に、ＩＣＧが注入された修復前（施術前）の臓器（大動脈Ｏ１）に対して撮像部２１が撮像して生成した３Ｄ画像データを取得する。
【００６５】
続いて、コントラスト画像処理部９１１は、３Ｄ画像データに対して、コントラストを強調する画像処理を行って距離検出部９１２へ出力する。例えば、コントラスト画像処理部９１１は、周知のコントラスト変換関数、ヒストグラムを用いて濃度値を変換する変換処やルックアップテーブル等を用いた濃度変換処理等を行う。
【００６６】
その後、距離検出部９１２は、コントラスト画像処理部９１１から入力されたコントラストが強調された３Ｄ画像データに基づいて、観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を算出する（ステップＳ１０３）。なお、距離検出部９１２は、コントラスト画像処理部９１１から入力されたコントラストが強調された３Ｄ画像データに基づいて、観察対象、例えば主要の大動脈Ｏ１や大動脈瘤Ｏ２の位置を検出してもよい。
【００６７】
その後、血流解析部９１３は、距離検出部９１２が算出した距離情報に基づいて、臓器に流れる血流を解析する（ステップＳ１０４）。具体的には、血流解析部９１３は、通信部９５が外部から取得したシミュレーション画像データに基づくシミュレーション画像と、距離検出部９１２が検出した距離情報と、に基づいて、修復前のシミュレーション画像の大動脈Ｏ１および大動脈瘤Ｏ２に流れる血流の速さ、血流の流用および血流の流れのパターンを解析する。
【００６８】
続いて、血流解析画像生成部９１４は、血流解析部９１３が解析した血流の解析結果に基づいて、血流解析画像を生成する（ステップＳ１０５）。具体的には、血流解析画像生成部９１４は、血流解析部９１３が解析した血流の解析結果に基づいて、修復前のシミュレーション画像の大動脈Ｏ１および大動脈瘤Ｏ２に流れる血流の速さ、血流の流用および血流の流れのパターンの各々の血流解析画像を生成する。図８は、修復前の赤外血流画像の一例を示す。図９は、修復前の赤血流解析画像の一例を示す。図１０は、修復前の血流解析画像の別の一例を示す。図８〜図１０に示すように、血流解析画像生成部９１４は、血流解析部９１３が解析した血流の解析結果に基づいて、赤外血流画像Ｐ１、血流解析画像Ｐ２および血流解析画像Ｐ３を生成する。血流解析画像Ｐ２には、血流の速さおよび血流の流れのパターンＷ１が含まれる。さらに、血流解析画像Ｐ３には、血流の流量Ｗ２が含まれる。
【００６９】
その後、差分検出部９１５は、通信部９５を介して取得した３次元モデルに流れる血流をシミュレーションしたシミュレーション画像と血流解析画像生成部９１４によって生成された血流解析画像との差分結果を示す差分画像を生成する（ステップＳ１０６）。図１１は、修復前のシミュレーション画像に流れる血流を模式的に示す図である。図１２は、修復前の血流解析画像生成部９１４によって生成された血流解析画像を模式的に示す図である。図１３は、差分検出部９１５が検出した差分画像を模式的に示す図である。図１１〜図１３に示すように、差分検出部９１５は、修復前のシミュレーション画像Ｐ１０と修復前の血流解析画像Ｐ１１との各々で流れる血流の流れ（図１１〜図１３に示す複数の矢印）に違いがある領域Ｒ１,Ｒ２を検出し、この領域Ｒ１,Ｒ２を識別可能な状態、例えば赤色に強調表示にした修復前の差分画像Ｐ１２を生成する。
【００７０】
続いて、出力部９１６は、第２の制御部９４を介して入力部９２から入力された指示信号に基づいて、シミュレーション画像、差分検出部９１５が検出した差分画像Ｐ１２、血流解析画像（血流パターン）および血流解析結果のいずれか一つ以上を表示装置８へ出力する（ステップＳ１０７）。これにより、ユーザは、リアルタイムで観察対象の修復前のシミュレーション画像の血流と赤外光による実際の血流の違いを直感的に把握することができる。なお、出力部９１６は、シミュレーション画像、差分検出部９１５が検出した差分画像Ｐ１２、血流解析画像（血流パターン）および血流解析結果を表示装置８へ出力させてもよい。これにより、術者は、シミュレーション画像と、血流解析画像Ｐ２と、差分画像Ｐ１２とを比較しながら修復前の大動脈瘤Ｏ２の状態を把握することができる。さらに、出力部９１６は、シミュレーション画像、差分検出部９１５が検出した差分画像Ｐ１２、血流解析画像（血流パターン）および血流解析結果を、外部のサーバ等が備える記録装置に出力してもよい。これにより、シミュレーション画像を生成するシミュレーション装置は、３次元モデルの血流のシミュレーションの精度を向上させることができる。さらに、術者は、記録装置の結果を確認することによって、術後における医学的検証、例えば修復の手技毎の成績比較を行うことができるので、将来の手技や手術へのフィードバックに用いることができる。
【００７１】
続いて、画像処理部９１は、通信部９５を介して修復後の血流シミュレーション画像データおよび観察装置２から赤外光による修復後の３Ｄ画像データを取得する（ステップＳ１０８）。
【００７２】
その後、コントラスト画像処理部９１１は、修復後の３Ｄ画像データに対して、コントラストを強調する画像処理を行って距離検出部９１２へ出力する（ステップＳ１０９）。
【００７３】
続いて、距離検出部９１２は、コントラスト画像処理部９１１から入力されたコントラストが強調された修復後の３Ｄ画像データに基づいて、観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を算出する（ステップＳ１１０）。
【００７４】
その後、血流解析部９１３は、距離検出部９１２が検出した距離情報に基づいて、臓器に流れる血流を解析する（ステップＳ１１１）。具体的には、血流解析部９１３は、通信部９５が外部から取得した修復後のシミュレーション画像データに基づく修復後のシミュレーション画像と、距離検出部９１２が検出した距離情報と、に基づいて、修復後のシミュレーション画像の大動脈Ｏ１および人工血管Ｏ３に流れる血流の速さ、血流の流用および血流の流れのパターンを解析する。
【００７５】
続いて、血流解析画像生成部９１４は、血流解析部９１３が解析した血流の解析結果に基づいて、血流解析画像を生成する（ステップＳ１１２）。具体的には、血流解析画像生成部９１４は、血流解析部９１３が解析した血流の解析結果に基づいて、修復後のシミュレーション画像の大動脈Ｏ１および人工血管Ｏ３に流れる血流の速さ、血流の流用および血流の流れのパターンの各々の血流解析画像を生成する。図１４は、修復後の赤外血流画像の一例を示す。図１５は、修復後の赤血流解析画像の一例を示す。図１６は、修復後の血流解析画像の別の一例を示す。図１４〜図１６に示すように、血流解析画像生成部９１４は、血流解析部９１３が解析した血流の解析結果に基づいて、修復後の赤外血流画像Ｐ４、修復後の血流解析画像Ｐ５および修復後の血流解析画像Ｐ６を生成する。修復後の血流解析画像Ｐ５には、血流の速さおよび血流の流れのパターンＷ１が含まれる。さらに、修復後の血流解析画像Ｐ６には、血流の流量Ｗ２が含まれる。
【００７６】
その後、差分検出部９１５は、通信部９５を介して取得した３次元モデルに流れる血流をシミュレーションしたシミュレーション画像と血流解析画像生成部９１４によって生成された血流解析画像との差分結果を示す差分画像を生成する（ステップＳ１１３）。具体的には、差分検出部９１５は、修復後のシミュレーション画像と修復後の血流解析画像との各々で流れる血流の流れに違いがある流域を検出し、この流域を識別可能な状態にした差分画像を生成する。例えば、差分検出部９１５は、上述した図１１〜図１３に示した修復前のシミュレーション画像Ｐ１０と修復前の血流解析画像Ｐ１１との各々で流れる血流の流れに違いがある領域Ｒ１,Ｒ２と同様の方法によって、修復後のシミュレーション画像と修復後の血流解析画像との各々で流れる血流の流れに違いがある領域を検出し、この領域を識別可能な状態にした差分画像を生成する。
【００７７】
続いて、出力部９１６は、第２の制御部９４を介して入力部９２から入力された指示信号に基づいて、シミュレーション画像、差分検出部９１５が検出した修復後の差分画像、修復後の血流解析画像（血流パターン）および修復後の血流解析結果のいずれか一つ以上を表示装置８へ出力する（ステップＳ１１４）。これにより、ユーザは、リアルタイムで観察対象の修復後のシミュレーション画像の血流と赤外光による実際の血流の違いを直感的に把握することができる。なお、出力部９１６は、シミュレーション画像、差分検出部９１５が検出した修復後の差分画像、修復後の血流解析画像（血流パターン）および修復後の血流解析結果を表示装置８へ出力させてもよい。これにより、術者は、シミュレーション画像と、血流解析画像Ｐ２と、差分画像とを比較しながら修復後の大動脈Ｏ１および人工血管Ｏ３の状態を把握することができる。
【００７８】
その後、第２の制御部９４を介して入力部９２から終了を指示する指示信号が入力された場合（ステップＳ１１５：Ｙｅｓ）、画像処理部９１は、本処理を終了する。これに対して、第２の制御部９４を介して入力部９２から終了を指示する指示信号が入力されていない場合（ステップＳ１１５：Ｎｏ）、画像処理部９１は、上述したステップＳ１０８へ戻る。
【００７９】
以上説明した実施の形態１によれば、差分検出部９１５が予め取得された観察対象の３次元モデルに流れる血流のシミュレーション結果と観察対象に流れる血流の解析結果との差分を検出し、出力部９１６が差分検出部９１５によって検出された差分結果を表示装置８へ出力するので、術前の血流のシミュレーション結果と施術中の血流の結果とをリアルタイムで比較することができる。
【００８０】
また、実施の形態１によれば、差分検出部９１５が通信部９５を介して取得した３次元モデルに流れる血流をシミュレーションしたシミュレーション画像と血流解析画像生成部９１４によって生成された血流解析画像との差分を検出し、出力部９１６が第２の制御部９４を介して入力部９２から入力された指示信号に基づいて、シミュレーション画像、差分検出部９１５が検出した差分画像、血流解析画像（血流パターン）および血流解析結果のいずれか一つ以上を表示装置８へ出力するので、術前の血流のシミュレーション結果と施術中の血流の結果とをリアルタイムで比較することができる。
【００８１】
また、実施の形態１によれば、血流解析部９１３がコントラスト画像処理部９１１によってコントラストが強調された３次元画像データに基づいて、血流を解析するので、精度が高い血流を解析することができる。
【００８２】
また、実施の形態１によれば、血流解析部９１３が血流の速さ、血流の流量および血流の流れのパターンのいずれか１つ以上を解析するので、術者が要望する複数種類の解析結果を得ることができる。
【００８３】
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２では、上述した実施の形態１に係る画像処理部９１が異なだけで、他の構成が同一である。このため、以下においては、実施の形態２に係る画像処理部の構成について説明する。なお、上述した実施の形態１に係る医療用観察システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
【００８４】
〔画像処理部の詳細な構成〕
図１７は、実施の形態２に係る画像処理部の詳細な構成を示すブロック図である。図１７に示す画像処理部９１Ａは、上述した実施の形態１に係る画像処理部９１の構成に加えて、距離検出部９１７と、３次元モデル作成部９１８と、形状選択ガイド部９１９と、３次元モデル加工部９２０と、流体力学シミュレーション部９２１と、シミュレーション画像生成部９２２と、差分検出部９２３と、を備える。なお、実施の形態２では、画像処理部９１Ａが医療用画像処理装置として機能する。
【００８５】
距離検出部９１７は、観察装置２から入力された白色光による修復前および修復後の３Ｄ画像データに基づいて、観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を検出する。
【００８６】
３次元モデル作成部９１８と、距離検出部９１７が算出した距離情報に基づいて、観察対象（例えば大動脈瘤）の３次元モデルを作成する。なお、３次元モデル作成部９１８は、予め生成された複数の臓器モデル（心臓、肺、血管等の臓器モデル）と、距離検出部９１７が算出した距離情報と、に基づいて、施術対象の被検体の臓器の３次元モデルを作成してもよい。
【００８７】
形状選択ガイド部９１９は、距離検出部９１７が検出した距離情報に基づいて、観察対象に適用可能な複数の置換部材を表示装置８へ出力する。ここで、複数の置換部材とは、太さが異なる人工血管およびステント等である。
【００８８】
３次元モデル加工部９２０は、３次元モデルを任意の形状に加工する。３次元モデル加工部９２０は、入力部９２または入力部２５から入力された複数の置換部材のいずれかを指定する指定信号に基づいて、３次元モデルを加工した修復後の３次元モデルを生成する。
【００８９】
流体力学シミュレーション部９２１は、周知の流体力学の技術を用いて、３次元モデル作成部９１８が生成した修復前の３次元モデルまたは３次元モデル加工部９２０が生成した修復後の３次元モデルに基づいて、この３次元モデルに流れる血流をシミュレーションする。
【００９０】
シミュレーション画像生成部９２２は、３次元モデル作成部９１８が生成した修復前の３次元モデルまたは３次元モデル加工部９２０が生成した修復後の３次元モデルと、流体力学シミュレーション部９２１がシミュレーションしたシミュレーション結果と、に基づいて、シミュレーション画像を生成し、このシミュレーション画像を差分検出部９２３へ出力する。
【００９１】
差分検出部９２３と、シミュレーション画像生成部９２２が生成した修復前後の３次元モデルに流れる血流をシミュレーションしたシミュレーション画像と修復前後の血流解析画像との各々の差分結果を生成し、この生成した各々の差分結果を出力部９１６へ出力する。
【００９２】
〔画像処理部の処理〕
次に、画像処理部９１Ａが実行する処理について説明する。図１８は、画像処理部９１Ａが実行する処理の概要を示すフローチャートである。
【００９３】
図１８に示すように、まず、画像処理部９１Ａは、観察装置２から白色光の３Ｄ画像データおよび赤外光による修復前の３Ｄ画像データを取得する（ステップＳ２０１）。
【００９４】
続いて、画像処理部９１Ａは、白色光の３Ｄ画像データに基づいて、修復前の血流のシミュレーション画像を生成する修復前シミュレーション画像生成処理を実行する（ステップＳ２０２）。ステップＳ２０２の後、画像処理部９１Ａは、後述するステップＳ２０３へ移行する。
【００９５】
〔修復前シミュレーション画像生成処理〕
図１９は、上述した図１８のステップＳ２０２の血流シミュレーション画像生成処理の概要を示すフローチャートである。
【００９６】
図１９に示すように、距離検出部９１７は、白色光による修復前の３Ｄ画像データに基づいて、観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を算出する（ステップＳ３０１）。
【００９７】
続いて、３次元モデル作成部９１８は、距離検出部９１７が算出した距離情報に基づいて、観察対象（例えば大動脈瘤）の３次元モデルを作成する（ステップＳ３０２）。図２０は、３次元モデル作成部９１８が生成する３次元モデルを模式的に示す図である。図２０に示すように、３次元モデル作成部９１８は、距離検出部９１７が算出した距離情報に基づいて、観察対象（例えば大動脈瘤）の修復前の３次元モデル画像Ｐ２１を作成する。この３次元モデル画像Ｐ２１には、大動脈Ｏ１と大動脈瘤Ｏ２が含まれる。
【００９８】
その後、流体力学シミュレーション部９２１は、周知の流体力学の技術を用いて、３次元モデル作成部９１８が生成した３次元モデルに流れる血流（流体）の流体力学のシミュレーション処理を行う（ステップＳ３０３）。
【００９９】
続いて、シミュレーション画像生成部９２２は、３次元モデル作成部９１８が生成した３次元モデルと、流体力学シミュレーション部９２１がシミュレーションしたシミュレーション結果と、に基づいて、シミュレーション画像を生成する（ステップＳ３０４）。図２１は、修復前のシミュレーション画像を模式的に示す図である。図２２は、修復前のシミュレーション画像を模式的に示す図である。図２３は、修復前のシミュレーション画像の別の一例を模式的に示す図である。図２４は、修復前のシミュレーション画像の別の一例を模式的に示す図である。図２１〜図２４に示すように、シミュレーション画像生成部９２２は、３次元モデル作成部９１８が生成した３次元モデルと、流体力学シミュレーション部９２１がシミュレーションしたシミュレーション結果と、に基づいて、シミュレーション画像をＰ２１,Ｐ２２,Ｐ３１,Ｐ４１のいずれか１つ以上を生成する。シミュレーション画像Ｐ３１は、矢印と、この矢印に基づく色とによって血流の向き、血流の流量、血流の速さおよび血流の流れを表示している。さらに、シミュレーション画像Ｐ４１は、血流の向き、血流の速さおよび血流の流れを線形状で表すとともに、この各線の色を識別可能に変更することによって血流の速さと流量を表している。ステップＳ３０４の後、画像処理部９１Ａは、図１８のメインルーチンへ戻る。
【０１００】
図１８に戻り、ステップＳ２０３以降の説明を続ける。
ステップＳ２０３において、画像処理部９１Ａは、赤外光による修復前の３Ｄ画像データに基づいて、シミュレーション画像において流れる血流を解析する修復前血流解析処理を実行する。ステップＳ２０３の後、画像処理部９１Ａは、後述するステップＳ２０４へ移行する。
【０１０１】
〔修復前血流解析処理〕
図２５は、上述した図１８のステップＳ２０３の修復前血流解析処理の概要を示すフローチャートである。
【０１０２】
図２５に示すように、コントラスト画像処理部９１１は、赤外光による修復前の３Ｄ画像データに対して、コントラストを強調する画像処理を行って距離検出部９１２へ出力する（ステップＳ４０１）。
【０１０３】
続いて、距離検出部９１２は、コントラスト画像処理部９１１から入力されたコントラストが強調された赤外光による修復前の３Ｄ画像データに基づいて、観察対象（臓器）の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を算出する（ステップＳ４０２）。
【０１０４】
その後、血流解析部９１３は、距離検出部９１２が算出した距離情報に基づいて、修復前の３次元モデル（臓器）に流れる血流を解析する（ステップＳ４０３）。具体的には、血流解析部９１３は、３次元モデル作成部９１８が生成した修復前の３次元モデル画像と、距離検出部９１２が検出した距離情報と、に基づいて、修復前の３次元モデルの大動脈Ｏ１および大動脈瘤Ｏ２に流れる血流の速さ、血流の流用および血流の流れのパターンを解析する。
【０１０５】
続いて、血流解析画像生成部９１４は、血流解析部９１３が解析した修復前の血流の解析結果に基づいて、修復前の血流解析画像を生成する（ステップＳ４０４）。具体的には、上述した図８〜図１０に示す赤外血流画像Ｐ１、血流解析画像Ｐ２および血流解析画像Ｐ３を生成する。ステップＳ４０４の後、画像処理部９１Ａは、図１８のメインルーチンへ戻る。
【０１０６】
図１８に戻り、ステップＳ２０４以降の説明を続ける。
ステップＳ２０４において、差分検出部９２３は、３次元モデルに流れる血流をシミュレーションしたシミュレーション画像と血流解析画像との差分結果を示す差分画像を生成する。具体的には、差分検出部９１５は、上述した図１１〜図１３に示すように、シミュレーション画像Ｐ１０と血流解析画像Ｐ１１との各々で流れる血流の流れに違いがある領域Ｒ１,Ｒ２を検出し、この領域Ｒ１,Ｒ２を識別可能な状態にした差分画像Ｐ１２を生成する。
【０１０７】
続いて、出力部９１６は、第２の制御部９４を介して入力部９２から入力された指示信号に基づいて、血流シミュレーション結果（血流の速さおよび流量）、シミュレーション画像（血流パターン）、差分検出部９２３が検出した修復前の差分画像、修復前の血流解析画像（血流パターン）および修復前の血流解析結果のいずれか一つ以上を表示装置８へ出力する（ステップＳ２０５）。
【０１０８】
続いて、画像処理部９１Ａは、観察装置２から白色光による修復後の３Ｄ画像データおよび赤外光による修復後の３Ｄ画像データを取得する（ステップＳ２０６）。
【０１０９】
その後、画像処理部９１Ａは、白色光による修復後の３Ｄ画像データに基づいて、修復後の血流のシミュレーション画像を生成する修復後シミュレーション画像生成処理を実行する（ステップＳ２０７）。ステップＳ２０７の後、画像処理部９１Ａは、後述するステップＳ２０８へ移行する。
【０１１０】
〔修復後シミュレーション画像生成処理〕
図２６は、上述した図１８のステップＳ２０７の修復後シミュレーション画像生成処理の概要を示すフローチャートである。
【０１１１】
図２６に示すように、まず、距離検出部９１７は、白色光による修復後の３Ｄ画像データに基づいて、観察対象の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を算出する（ステップＳ５０１）。
【０１１２】
続いて、３次元モデル作成部９１８は、距離検出部９１７が算出した距離情報に基づいて、観察対象（例えば大動脈瘤）の３次元モデルを作成する（ステップＳ５０２）。
【０１１３】
その後、形状選択ガイド部９１９は、距離検出部９１７が算出した距離情報と、３次元モデル作成部９１８が作成した３次元モデルと、に基づいて、３次元モデルにおける血管の径を算出し、この算出結果に基づく複数の人工血管を表示装置８に出力して表示させる（ステップＳ５０３）。複数の人工血管は、複数の太さおよび複数の形状が含まれる。
【０１１４】
続いて、第２の制御部９４を介して入力部９２から表示装置８が表示する複数の人工血管のいずれかを指定する指定信号が入力された場合（ステップＳ５０４：Ｙｅｓ）、画像処理部９１Ａは、後述するステップＳ５０５へ移行する。これに対して、第２の制御部９４を介して入力部９２から表示装置８が表示する複数の人工血管のいずれかを指定する指定信号が入力されていない場合（ステップＳ５０４：Ｎｏ）、画像処理部９１Ａは、上述したステップＳ５０３へ戻る。
【０１１５】
ステップＳ５０５において、３次元モデル加工部９２０は、入力部９２から入力された指定信号で指定された人工結果と３次元モデルとに基づいて、大動脈瘤を人工血管に置き換えて加工した修復後の３次元モデルを作成する（ステップＳ５０５）。図２７は、３次元モデル加工部９２０が生成する修復後の３次元モデルを模式的に示す図である。図２７に示すように、３次元モデル加工部９２０は、入力部９２から入力された指定信号で指定された人工結果と３次元モデルとに基づいて、大動脈瘤を人工血管に置き換えて加工した修復後の３次元モデル画像Ｐ４１を作成する。この３次元モデル画像Ｐ４１には、大動脈Ｏ１と大動脈瘤Ｏ２を置き換えた人工血管Ｏ３が含まれる。
【０１１６】
続いて、流体力学シミュレーション部９２１は、周知の流体力学の技術を用いて、３次元モデル加工部９２０が生成した修復後の３次元モデルに流れる血流（流体）の流体力学のシミュレーション処理を行う（ステップＳ５０６）。
【０１１７】
その後、シミュレーション画像生成部９２２は、３次元モデル加工部９２０が生成した修復後の３次元モデルと、流体力学シミュレーション部９２１がシミュレーションしたシミュレーション結果と、に基づいて、修復後のシミュレーション画像を生成する（ステップＳ５０４）。図２８は、修復後のシミュレーション画像を模式的に示す図である。図２９は、修復後のシミュレーション画像を模式的に示す図である。図２８および図２９に示すように、シミュレーション画像生成部９２２は、３次元モデル加工部９２０が生成した修復後の３次元モデルと、流体力学シミュレーション部９２１がシミュレーションしたシミュレーション結果と、に基づいて、修復後のシミュレーション画像をＰ４２,Ｐ４３のいずれか１つ以上を生成する。ステップＳ５０４の後、画像処理部９１Ａは、図１８のメインルーチンへ戻る。
【０１１８】
図１８に戻り、ステップＳ２０８以降の説明を続ける。
ステップＳ２０８において、画像処理部９１Ａは、赤外光による修復後の３Ｄ画像データに基づいて、シミュレーション画像において流れる血流を解析する修復後血流解析処理を実行する。ステップＳ２０８の後、画像処理部９１Ａは、後述するステップＳ２０９へ移行する。
【０１１９】
〔修復後血流解析処理〕
図３０は、上述した図１８のステップＳ２０３の修復後血流解析処理の概要を示すフローチャートである。
【０１２０】
図３０に示すように、コントラスト画像処理部９１１は、赤外光による修復後の３Ｄ画像データに対して、コントラストを強調する画像処理を行って距離検出部９１２へ出力する（ステップＳ５０１）。
【０１２１】
続いて、距離検出部９１２は、コントラスト画像処理部９１１から入力されたコントラストが強調された赤外光による修復後の３Ｄ画像データに基づいて、観察対象（臓器）の縦方向の長さ、横方向の長さおよび奥行方向の長さを含む距離情報を算出する（ステップＳ５０２）。
【０１２２】
その後、血流解析部９１３は、距離検出部９１２が算出した距離情報に基づいて、修復後の３次元モデル（臓器）に流れる血流を解析する（ステップＳ５０３）。具体的には、血流解析部９１３は、３次元モデル作成部９１８が生成した修復後の３次元モデル画像と、距離検出部９１２が検出した距離情報と、に基づいて、修復後の３次元モデルの大動脈Ｏ１および人工血管Ｏ３に流れる血流の速さ、血流の流用および血流の流れのパターンを解析する。
【０１２３】
続いて、血流解析画像生成部９１４は、血流解析部９１３が解析した修復後の血流の解析結果に基づいて、修復後の血流解析画像を生成する（ステップＳ５０４）。具体的には、上述した図１４〜図１６に示す赤外血流画像Ｐ４、血流解析画像Ｐ５および血流解析画像Ｐ６を生成する。ステップＳ５０４の後、画像処理部９１Ａは、図１８のメインルーチンへ戻る。
【０１２４】
図１８に戻り、ステップＳ２０９以降の説明を続ける。
ステップＳ２０９において、差分検出部９２３は、３次元モデルに流れる血流をシミュレーションした修復後のシミュレーション画像と修復後の血流解析画像との差分結果を示す差分画像を生成する。
【０１２５】
続いて、出力部９１６は、第２の制御部９４を介して入力部９２から入力された指示信号に基づいて、修復後の血流シミュレーション結果（血流の速さおよび流量）、修復後のシミュレーション画像（血流パターン）、差分検出部９２３が検出した修復後の差分画像、修復後の血流解析画像（血流パターン）および修復後の血流解析結果のいずれか一つ以上を表示装置８へ出力する（ステップＳ２１０）。
【０１２６】
その後、第２の制御部９４を介して入力部９２から終了を指示する指示信号が入力された場合（ステップＳ２１１：Ｙｅｓ）、画像処理部９１Ａは、本処理を終了する。これに対して、第２の制御部９４を介して入力部９２から終了を指示する指示信号が入力されていない場合（ステップＳ２１１：Ｎｏ）、画像処理部９１は、上述したステップＳ２０８へ戻る。
【０１２７】
以上説明した実施の形態２によれば、差分検出部９２３がシミュレーション画像生成部９２２によって生成されたシミュレーション画像と、血流解析画像生成部９１４によって生成された血流解析画像との差分を検出し、出力部９１６が第２の制御部９４を介して入力部９２から入力された指示信号に基づいて、修復前後の血流シミュレーション結果（血流の速さおよび流量）、修復前後のシミュレーション画像（血流パターン）、差分検出部９２３が検出した修復前後の差分画像、修復前後の血流解析画像（血流パターン）および修復前後の血流解析結果のいずれか一つ以上を表示装置８へ出力するので、術前の血流のシミュレーション結果と施術中の血流の結果とをリアルタイムで比較することができる。
【０１２８】
また、実施の形態２によれば、流体力学シミュレーション部９２１が３次元モデル加工部９２０によって任意の形状に加工された３次元モデルに流れる血流をシミュレーションするので、実際の修復後の血流のシミュレーション結果と修復前の血流の結果とをリアルタイムで比較することができる。
【０１２９】
また、実施の形態２によれば、形状選択ガイド部９１９が距離検出部９１７によって検出された距離情報に基づいて、観察対象に適用可能な複数の置換部材を表示装置８へ出力し、３次元モデル加工部９２０が複数の置換部材のいずれかを指定する指定信号に基づいて、３次元モデルを加工した修復後の３次元モデルを生成するので、直感的な操作で観察対象に適した修復後の置換部材を選択することができ、施術の効率化を図ることができる。
【０１３０】
なお、実施の形態２では、３次元モデル作成部９１８が正面の３次元モデルのみを生成しているが、これに限定されることなく、例えば上述した実施の形態１で説明した外部のサーバに記録されたＣＴ画像データやＭＩＲ画像データを組み合わせ、裏面側の３次元モデルを生成してもよい。これにより、より精度を高めた修復前後の血流のシミュレーションを行うことができる。
【０１３１】
（その他の実施の形態）
なお、本開示の実施の形態１,２では、３Ｄ画像データを生成することができる観察装置２を例に説明していたが、例えば３Ｄ画像データを生成することができる内視鏡であっても適用することができる。
【０１３２】
また、本開示の実施の形態１，２では、画像処理部９１，９１Ａが表示装置８へ修復後の血流シミュレーション結果（血流の速さおよび流量）、修復後のシミュレーション画像（血流パターン）、差分検出部９２３が検出した修復後の差分画像、修復後の血流解析画像（血流パターン）および修復後の血流解析結果のいずれか一つ以上を表示装置８へ出力していたが、例えば画像処理部９１，９１Ａに表示機能を有する表示モニタ等を設けてもよい。もちろん、表示モニタと上述した画像処理部９１，９１Ａを設けることによって携帯可能な端末装置や携帯機器であっても適用することができる。
【０１３３】
また、本開示の実施の形態１，２に係る医療用観察システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、本開示の実施の形態１，２に係る医療用観察システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、本開示の実施の形態１，２に係る医療用観察システムで説明した構成要素を適宜組み合わせてもよい。
【０１３４】
また、本開示の実施の形態１，２に係る医療用観察システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
【０１３５】
また、本開示の実施の形態１，２に係る医療用観察システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３６】
また、本開示の実施の形態１，２に係る医療用観察システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
【０１３７】
なお、本明細書におけるタイミングチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてタイミング間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したタイミングチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
【０１３８】
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
【符号の説明】
【０１３９】
１  医療用観察システム
２  観察装置
３  光源装置
４  ライトガイド
５  顕微鏡部
６  支持部
７  ベース部
８  表示装置
９  制御装置
２１  撮像部
２２  光出射部
２３  駆動部
２４  検出部
２５，９２  入力部
２６  第１の制御部
３１  第１の光源部
３２  第２の光源部
９１，９１Ａ  画像処理部
９３  記録部
９４  第２の制御部
９５  通信部
９１１  コントラスト画像処理部
９１２，９１７  距離検出部
９１３  血流解析部
９１４  血流解析画像生成部
９１５，９２３  差分検出部
９１６  出力部
９１８  ３次元モデル作成部
９１９  形状選択ガイド部
９２０  ３次元モデル加工部
９２１  流体力学シミュレーション部
９２２  シミュレーション画像生成部
【図１】
2020160505.tif 000003
【図２】
2020160505.tif 000004
【図３】
2020160505.tif 000005
【図４】
2020160505.tif 000006
【図５】
2020160505.tif 000007
【図６】
2020160505.tif 000008
【図７】
2020160505.tif 000009
【図８】
2020160505.tif 000010
【図９】
2020160505.tif 000011
【図１０】
2020160505.tif 000012
【図１１】
2020160505.tif 000013
【図１２】
2020160505.tif 000014
【図１３】
2020160505.tif 000015
【図１４】
2020160505.tif 000016
【図１５】
2020160505.tif 000017
【図１６】
2020160505.tif 000018
【図１７】
2020160505.tif 000019
【図１８】
2020160505.tif 000020
【図１９】
2020160505.tif 000021
【図２０】
2020160505.tif 000022
【図２１】
2020160505.tif 000023
【図２２】
2020160505.tif 000024
【図２３】
2020160505.tif 000025
【図２４】
2020160505.tif 000026
【図２５】
2020160505.tif 000027
【図２６】
2020160505.tif 000028
【図２７】
2020160505.tif 000029
【図２８】
2020160505.tif 000030
【図２９】
2020160505.tif 000031
【図３０】
2020160505.tif 000032