(57)【要約】【課題】生体動きに起因する画面動きを除去することなく、ぶれを補正する。【解決手段】画像処理装置は、被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を備える。この構成により、生体動きに起因する画面動きを除去することなく、ぶれを補正することが可能となる。従って、生体動きの観察に最適な画像を得ることが可能となる。【選択図】図４Ａ
2017169139.tif 000002
【特許請求の範囲】
【請求項１】
被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、
前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、
を備える、画像処理装置。
【請求項２】
前記ぶれ補正処理部は、
前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、請求項１に記載の画像処理装置。
【請求項３】
前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項４】
前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項５】
前記ぶれ量の周波数解析を行う周波数解析部を備え、
前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項６】
医療用画像の色分布を抽出する色分布抽出部を備え、
前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項７】
医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項８】
医療用画像のマスク径を検出するマスク径検出部を備え、
前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項９】
手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、請求項２に記載の画像処理装置。
【請求項１０】
被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部と、
前記距離関連パラメータに基づいて前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を更に備える、請求項１に記載の画像処理装置。
【請求項１１】
前記ゲイン調整部は、被写体までの距離が大きいほど前記ゲインを大きくする、請求項１０に記載の画像処理装置。
【請求項１２】
前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、請求項１０に記載の画像処理装置。
【請求項１３】
前記医療用画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、請求項１に記載の画像処理装置。
【請求項１４】
前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、請求項１３に記載の画像処理装置。
【請求項１５】
前記医療用画像は、内視鏡画像又は顕微鏡画像である、請求項２に記載の画像処理装置。
【請求項１６】
前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、請求項１５に記載の画像処理装置。
【請求項１７】
前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、請求項１６に記載の画像処理装置。
【請求項１８】
被写体の生体動きを含む医療用画像のぶれ量を推定することと、
前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、
を備える、画像処理方法。
【請求項１９】
被写体の生体動きを含む医療用画像を撮像する撮像装置と、
前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、
を備える医療システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法及び医療システムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献には、内視鏡装置の状況を表す操作状況情報に基づいて、位置ずれの補正度合いの強弱を設定し、適度にブレを抑えた動画像をユーザに提示することを想定した技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−８５６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
内視鏡などの医療用装置を操作して医療用画像を取得する際には、術者の操作に応じた画像ぶれが発生する場合がある。一方、医療用画像には、その特質上、生体動きに起因する動きが画面内に生じる場合がある。【０００５】
上記特許文献に記載された技術は、操作状況情報に基づいてブレを抑えるものであるが、生体動きに起因する動きを考慮していないため、操作状況に応じてぶれを抑えようとすると、生体動きに起因する動きが除去されてしまう。このため、生体動きを正確に観察できなくなる問題が発生する。【０００６】
そこで、生体動きに起因する画面動きを除去することなく、ぶれを補正することが求められていた。
【課題を解決するための手段】
【０００７】
本開示によれば、被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を備える、画像処理装置が提供される。【０００８】
また、本開示によれば、被写体の生体動きを含む医療用画像のぶれ量を推定することと、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、を備える、画像処理方法が提供される。【０００９】
また、本開示によれば、被写体の生体動きを含む医療用画像を撮像する撮像装置と、前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、を備える医療システムが提供される。
【発明の効果】
【００１０】
本開示によれば、生体動きに起因する画面動きを除去することなく、ぶれを補正することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１１】
【図１】内視鏡手術システムの構成を示す模式図である。
【図２】画像処理装置の基本的な構成を示す模式図である。
【図３】術式モードに応じた平滑化フィルタと周波数特性を示す模式図である。
【図４Ａ】入力画像の画面ぶれ量から周波数解析を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。
【図４Ｂ】入力画像から色分布および空間周波数分布の抽出を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。
【図４Ｃ】入力画像からマスク径の検出を行い、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。
【図４Ｄ】入力画像からトロッカの有無を検出し、診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタを選択する例を示す模式図である。
【図５】周波数解析部の構成を詳細に示す模式図である。
【図６Ａ】拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。
【図６Ｂ】スコピストに起因するぶれを抑えるバンドパスフィルタ（ＢＰＦ）の特性を示す特性図である。
【図７】内視鏡スコープのフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。
【図８】フォーカスレンズ位置を示す模式図である。
【図９】被写体と内視鏡スコープ間の距離と、補正ゲイン（補正パラメータ）との関係を示す模式図である。
【図１０】画像の空間周波数に基づいて内視鏡スコープと被写体の距離を取得する構成例を示す模式図である。
【図１１】空間周波数と、補正ゲイン（補正パラメータ）との関係を示す模式図である。
【図１２】内視鏡が２眼ステレオ撮影を行う場合に、ステレオ視によって内視鏡スコープと被写体の距離を取得する構成例を示す模式図である。
【図１３】被写体までの距離と、補正ゲイン（補正パラメータ）との関係を示す模式図である。
【図１４】ぶれ補正の後に電子ズームを行う場合の構成例を示す模式図である。
【図１５】ズーム倍率と補正ゲインとの関係を示す特性図である。
【図１６】手術用顕微鏡向けのぶれ補正を行う構成例を示す模式図である。
【図１７】各センサからの振動情報を入力として、それぞれの固有振動成分を抑制するような周波数フィルタを図１６の構成に対して設けた例を示す模式図である。
【図１８】周波数フィルタの特性を示す模式図である。
【図１９】本実施形態による時間方向フィルタでの平滑化を行うことにより、動画上でノイズ低減効果を得る場合の構成例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１３】
なお、説明は以下の順序で行うものとする。
１．内視鏡手術システムの構成例
２．画像処理装置の構成例
３．入力画像から術式を判定する例
４．周波数解析に基づくぶれの切り分け
５．被写体位置に応じた補正ゲインの決定
６．顕微鏡装置への適用
【００１４】
１．内視鏡手術システムの構成例
近年、医療現場において従来の開腹手術に代わって、内視鏡下手術が行われている。たとえば、腹部の手術を行う場合、図１で示されるような手術室に配置される内視鏡手術システム１を用いる。従来のように腹壁を切って開腹する代わりに、トロッカ１２ａ、１２ｂと称される開孔器具が腹壁に数か所取り付けられ、トロッカ１２ａ，１２ｂに設けられている孔から腹腔鏡（以下、内視鏡とも称する）２、エネルギ処置具３や鉗子４等が体内に挿入される。そして、内視鏡２によってビデオ撮像された患部（腫瘍等）１６の画像をリアルタイムに見ながら、エネルギ処置具３等によって患部１６を切除するなどの処置が行われる。内視鏡２、エネルギ処置具３や鉗子４は、術者、助手、スコピスト、またはロボット等が保持している。
【００１５】
このような内視鏡下手術を行う手術室内には、内視鏡下手術のための装置類を搭載するカート１４、患者が横たわる患者ベッド１３、フットスイッチ１５等が配置される。カート１４は、医療機器として例えばカメラコントロールユニット(ＣＣＵ)５、光源装置６、処置具用装置７、気腹装置８、表示装置９、レコーダ１０及びプリンタ１１等の装置類を載置している。
【００１６】
内視鏡２の観察光学系を通じて撮像素子により撮像された患部１６の画像信号は、カメラケーブルを介してＣＣＵ５に伝送され、ＣＣＵ５内で信号処理された後に、表示装置９に出力され、患部１６の内視鏡画像が表示される。ＣＣＵ５は、カメラケーブルを介して内視鏡２に接続される他、無線で接続してもよい。
【００１７】
光源装置６は、ライトガイドケーブルを介して内視鏡２に接続され、患部１６に対してさまざまな波長の光を切り替えて照射することができる。
【００１８】
処置具用装置７は、例えば患部１６を電気熱を用いて切断するエネルギ処置具３に対して高周波電流を出力する高周波出力装置である。
【００１９】
気腹装置８は、送気、吸気手段を備え、患者体内の例えば腹部領域に空気を送気するものである。
【００２０】
フットスイッチ１５は、術者や助手等のフット操作をトリガ信号として、ＣＣＵ５や処置具用装置７等を制御するようになっている。
【００２１】
２．画像処理装置の構成例
本実施形態は、内視鏡向けぶれ補正技術に関し、内視鏡を使用する診療科ごとの術式に応じて、適切にぶれの周波数成分を抑制することで、良好な画質を得る技術に関する。図２は、ＣＣＵ５が備える画像処理装置１０００の構成を示す模式図であって、ぶれ補正のための基本的な構成を示している。図２に示すように、画像処理装置１０００は、特徴点抽出部１０１０、動きベクトル抽出部（ＭＥ：Motion  Estimation）１０２０、画像ぶれ量推定部１０３０、平滑化部１０４０、ぶれ補正部１０５０、ユーザインタフェース（ＵＩ）１０６０、フィルタ群１０７０を有して構成される。フィルタ群１０７０はデータベースに格納されている。
【００２２】
特徴点抽出部１０１０には、内視鏡２の撮像素子が撮像した入力画像が入力される。撮像素子は、例えばＣＭＯＳセンサ等から構成される。特徴点抽出部１０１０は、入力画像の各画素から特徴点抽出を行う。動きベクトル抽出部１０２０は、特徴点に対し、動きベクトル検出を行う。画像ぶれ量推定部１０３０は、動きベクトル抽出部１０２０による特徴点ごとの動きベクトル検出結果から、画面全体のぶれ量を推定する。平滑化部１０４０は、時間方向のぶれ量を蓄積し、それらにフィルタをかけて平滑化を行う。ぶれ補正部１０５０は、平滑化されたぶれ量に対し、ぶれ補正を行う。
【００２３】
画像ぶれ量推定部１０３０によるぶれ量の推定は、例えばＲＡＮＳＡＣ等の手法により行うことができる。この場合、ランダムに動きベクトルのサンプルを抽出し、全サンプルで誤差が少ないサンプルをカウントする。そして、誤差が少ないサンプル数が最も多い係数とサンプルを採用することで、誤差成分を除いた状態で有効な成分のみで最小二乗法を行い、係数を推定する。これにより、特徴点ごとの動きベクトルから画面全体のぶれ量を推定することができる。
【００２４】
平滑化部１０４０により時間方向のぶれ量が蓄積されると、ぶれの周波数が得られる。平滑化部１０４は、ぶれの周波数に平滑化フィルタをかけることで、所望の周波数成分のみを残し、不要な周波数成分を除去する。平滑化フィルタとして、例えばバンドパスフィルタ（ＢＰＦ）が用いられる。これにより、ぶれを抑えたい周波数のみ、ぶれ補正の対象として残し、ぶれを抑えたくない周波数は、ぶれ補正の対象としないようにすることができる。
【００２５】
ぶれ補正部１０５０は、平滑化されたぶれ量に基づいて、例えば公知のアフィン変換等の手法により、入力画像に対してぶれ補正を行う。なお、平滑化部１０４０とぶれ補正部１０５０とから、本実施形態に係るぶれ補正処理部が構成される。
【００２６】
図２に示す構成例では、ユーザインタフェース（ＵＩ）１０６０を介して、手術シーンに応じてユーザが術式モードを選択する。図３は、術式モードに応じた平滑化フィルタと平滑化フィルタの周波数特性を示す模式図である。ユーザが選択した術式モードに応じて、図３に示すような、診療科（耳鼻咽喉科、消化器外科、整形外科）ごとの術式に合わせて、最適にぶれを抑制する周波数特性を持つ平滑化フィルタがフィルタ群１０７０の中から選択される。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
【００２７】
図３に示す平滑化フィルタは、例えばローパスフィルタ（ＬＰＦ）から構成される。耳鼻咽喉科の場合、ローパスフィルタにより３〜５［Ｈｚ］以上の周波数のぶれが抑制され、３〜５［Ｈｚ］未満の周波数のぶれが残される。消化器外科の場合、ローパスフィルタにより８〜１０［Ｈｚ］以上の周波数のぶれが抑制され、８〜１０［Ｈｚ］未満の周波数のぶれが残される。整形外科の場合、ローパスフィルタにより４〜６［Ｈｚ］以上の周波数のぶれが抑制され、４〜６［Ｈｚ］未満の周波数のぶれが残される。
【００２８】
診療科の相違に応じて、手術に用いられる内視鏡２などの機器が異なるため、撮像された画像に含まれる補正の対象となるぶれは、診療科毎に異なる。本実施形態では、診療科ごとの術式に合わせてぶれを抑制することが可能になるため、診療化ごとにぶれを補正した最適な画像を得ることができる。
【００２９】
３．入力画像から術式を判定する例
図２では、ユーザが術式モードを選択することとしているが、入力画像から術式を判定することもできる。図４Ａは、入力画像の画面ぶれ量から周波数解析を行い、周波数解析の結果から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ａに示す例では、図２の構成に対し、周波数解析部１０７１、シーン判定部１１００を更に備えている。
【００３０】
図５は、周波数解析部１０７１の構成を詳細に示す模式図である。図５に示すように、周波数解析部１０７１は、バッファ１０７２、高速フーリエ変換部（ＦＦＴ）１０７４、周波数成分抽出部１０７６、正規化部１０７８、フィルタ選択信号生成部１０８０、積分部１０８２、ゲイン調整部１０８４，１０８６，１０８８、乗算部１０９０、を有して構成される。
【００３１】
周波数解析部１０７１には、画面ぶれ量推定部１０３０から、入力画像の画面ぶれ量として、画像のシフト量が入力される。シフト量をバッファ１０７２内に蓄積し、その後、高速フーリエ変換部（ＦＦＴ）１０７４により周波数変換を行う。周波数成分抽出部１０７６により周波数成分を抽出することで、どの周波数が多いかを判定し、正規化部１０７８により正規化を行う。そして、正規化の結果に基づいて、フィルタ選択信号生成部１０８０がフィルタを選択するためのフィルタ選択信号を生成し、出力する。
【００３２】
また、周波数解析部１０７１は、ゲイン調整部１０８４，１０８６，１０８８により、調整値Ａ，Ｂ，Ｃ，Ｄ，Ｅを用いてゲイン調整を行う。積分部１０８２はバッファ１０７２に蓄積されたフレーム数Ｎ２のシフト量を積分し、ゲイン調整部１０８４は積分したシフト量に基づいて、積分値が大きくなるほどゲインを低下させる。
【００３３】
また、ゲイン調整部１０８６は、シフト量に基づいて、シフト量が大きくなるほどゲインを低下させる。また、ゲイン調整部１０８８は、画面ぶれ量推定部１０３０により推定されたぶれ量の信頼度（単位行列になったかなどの動き信頼度）に応じて、信頼度が低いほどゲインを低下させるようにゲインを調整する。特に、ゲイン調整部１０８８は、信頼度が一定値以下の場合は、ゲインを０としてぶれ補正を行わないようにする。
【００３４】
ゲイン調整部１０８４，１０８６，１０８８により算出されたゲインは、乗算部１０９０により乗算されて、ぶれ補正部１０５０に出力される。ぶれ補正部１０５０は、ゲインに基づいてぶれ補正の強度を調整する。ゲイン調整部１０８４，１０８６，１０８８による例外的な処理を行うことで、ぶれ補正が過度に行われることを抑止することができる。
【００３５】
周波数解析部１０７１が出力したフィルタ選択信号は、シーン判定部１１００に入力される。シーン判定部１１００は、フィルタ選択信号に基づいて術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
【００３６】
図４Ｂは、入力画像から色分布および空間周波数分布の抽出を行い、それらの情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ｂに示す例では、図２の構成に対し、色分布抽出部１１１０、空間周波数分布抽出部１１１２、シーン判定部１１００を更に備えている。色分布抽出部１１１０は、入力画像の色分布を抽出する。空間周波数分布抽出部１１１２は、入力画像の空間周波数分布を抽出する。シーン判定部１１００は、入力画像の色分布、空間周波数分布に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
【００３７】
図４Ｃは、入力画像からマスク径の検出を行い、マスク径の情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ｃに示す例では、図２の構成に対し、マスク径抽出部１１１４、シーン判定部１１００を更に備えている。マスク径抽出部１１４は、入力画像からマスク径を検出する。シーン判定部１１００は、マスク径に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。特徴点抽出部１０１０は、マスク径に基づいて、マスク径が小さい程、マスク内のより狭い範囲から特徴点を抽出することができる。
【００３８】
図４Ｄは、入力画像からトロッカの有無を検出し、それらの情報から、入力画像に対応する診療科、術式のシーンを自動で判定し、シーンに応じた平滑化フィルタをフィルタ群１０７０から選択する例を示している。このため、図４Ｄに示す例では、図２の構成に対して、トロッカ有無検出部１１１６、シーン判定部１１００を更に備えている。トロッカ有無検出部１１１６は、画面ぶれ量推定部１０３０が推定した画面ぶれ量にもとづいて、トロッカ１２ａ，１２ｂが使われているか否か（トロッカの有無）を検出する。シーン判定部１１００は、トロッカ１２ａ，１２ｂの有無に基づいて、入力画像に対応する診療科、術式のシーンを判定し、術式のシーンに応じた最適な平滑化フィルタをフィルタ群１０７０の中から選択する。平滑化部１０４０は、選択された平滑化フィルタにより平滑化を行う。
【００３９】
診療科、術式の判定方法については、表１に示すように、動画像の動き周波数解析結果、術式・シーン認識、マスク径の情報、トロッカ１２ａ，１２ｂの有無などの情報に応じて行うことができる。動きの周波数解析については、周波数成分のピーク位置に応じて、ピーク位置が３〜５［Ｈｚ］であれば整形外科、４〜６［Ｈｚ］であれば耳鼻咽喉科、８〜１０［Ｈｚ］であれば消化器外科であると決定することができる。図４Ａに示す構成例によれば、周波数解析の結果に応じて、表１に基づいて診療科、術式のシーンを判定することができる。
【００４０】
図４Ｂに示した色分布および空間周波数分布の抽出による術式、シーン認識については、表１に示すように、入力画像に赤の領域が多く、のっぺりしていて空間周波数が低い場合は耳鼻咽喉科、白の領域が多く、のっぺりしていて空間周波数が低い場合は整形外科と判定される。また入力画像に様々な色成分が多く、血管や脂肪にテクスチャがあり空間周波数が高い場合は、消化器外科と決定される。
【００４１】
図４Ｃに示したマスク径の情報に基づく判定では、マスク径抽出部１１１４が入力画像からマスク径を検出し、表１に示すように、マスク径が４．９ｍｍ程度であれば耳鼻咽喉科、５．５ｍｍ程度であれば整形外科、１０ｍｍ程度であれば消化器外科であると決定される。このように、診療科、術式のシーンに応じてマスク径が異なるため、マスク径を検出することで、診療科、術式のシーンを判定することができる。
【００４２】
また、トロッカ１２ａ，１２ｂを用いている場合、トロッカ１２ａ，１２ｂが支点となるため、内視鏡２の動きは予め想定される決まった動きが多くなる。そのため、トロッカ１２ａ，１２ｂを用いた場合とトロッカ１２ａ，１２ｂを用いていない場合とでは、画面ぶれ量の周波数が異なる。従って、図４Ｄのトロッカ有無検出部１１６は、画面ぶれ量の周波数に基づいてトロッカ１２ａ，１２ｂを用いているか否かを判定できる。表１に示すように、トロッカ１２ａ，１２ｂを用いている場合は消化器外科であり、トロッカ１２ａ，１２ｂを用いていない場合は整形外科か耳鼻咽喉科であると判定することができる。
【００４３】
【表１】
2017169139.tif 000003
【００４４】
以下に示す表２は、各診療科における、抑えたい“ぶれ”とその周波数、抑えたくない“ぶれ”とその周波数を示している。判定結果を使って、抑えたい“ぶれ”、抑えたくない“ぶれ”、のそれぞれに最適な平滑化フィルタを適用する。いずれの診療科においても、生体動きに起因する画面動きはぶれ補正で除去しないように平滑化フィルタを選択する。表２に基づいて、各診療科、術式に応じて平滑化フィルタを選択することで、内視鏡スコープの手振れ、建物やアームの揺れなどの要因によるぶれについては、ぶれ補正部１０５０によるぶれ補正の対象とし、術者の意図する動き、生体本体の動きについては、ぶれ補正部１０５０によるぶれ補正の対象とならないようにする。なお、これらの術式情報をＣＣＵ５に伝送する際、ケーブルのみならずＲＦＩＤなどを用いることも可能である。
【００４５】
【表２】
2017169139.tif 000004
【００４６】
４．周波数解析に基づくぶれの切り分け
図４Ａ〜図４Ｄに示した構成例において、周波数解析に基づいて術者、スコピストに起因するぶれと、患者に起因するぶれ（拍動など）の切り分けをすることもできる。図６Ａは、拍動に起因するぶれとスコピストに起因するぶれの周波数を示す特性図である。また、図６Ｂは、スコピストに起因するぶれを抑えるバンドパスフィルタ（ＢＰＦ）の特性を示す特性図である。このように、図３に示したようなローパスフィルタ（ＬＰＦ）ではなく、バンドパスフィルタ（ＢＰＦ）を用いて任意のぶれ周波数を抑えることも可能である。この場合、フィルタ群１０７０の中にバンドパスフィルタを格納し、周波数解析に基づいてバンドパスフィルタを選択する。構成は、図４Ａ〜図４Ｄと同様の構成とすることができる。
【００４７】
５．被写体位置に応じた補正ゲインの決定
図７は、内視鏡２のフォーカスレンズ位置情報を取得し、補正ゲインを決定する構成を示す模式図である。図４Ａ〜図４Ｂの構成に加えて、内視鏡２と被写体の距離に応じて、ぶれ補正に対するゲイン調整を行う。このため、図７に示す構成では、図４Ｂの構成に加え、フォーカスレンズ位置取得部１１２０、補正ゲイン決定部１１２２、ゲイン調整部１１２３を有する。
【００４８】
図７に示す構成例では、内視鏡２のフォーカスレンズ位置情報を取得し、補正ゲインを決定する。図８は、フォーカスレンズ位置を示す模式図である。被写体までの距離とフォーカスレンズ位置との関係は一義的に定まるため、フォーカスレンズ位置情報に基づいてゲインを調整することで、被写体までの距離に応じたゲイン調整が可能となる。図９は、フォーカスレンズ位置と、補正ゲイン（補正パラメータ）との関係を示す模式図である。フォーカスレンズ位置取得部１１２０が取得したフォーカスレンズ位置情報は、補正ゲイン決定部１１２２に送られ、補正ゲイン決定部１１２２は、図９の特性に基づいて補正ゲインを決定する。
【００４９】
図９において、フォーカスレンズ位置が大きくなるほど、被写体までの距離は大きくなるものとする。従って、被写体までの距離が大きくなるほど、補正ゲインの値は大きくなる。被写体までの距離が大きくなるほど、内視鏡２のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。なお、図９の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。
【００５０】
図１０は、画像の空間周波数に基づいて内視鏡２と被写体の距離を取得する構成例を示す模式図である。このため、図１０に示す構成では、図４Ｂの構成に加え、空間周波数解析部１１２４、補正ゲイン決定部１１２６、ゲイン調整部１１２３を有する。空間周波数解析部１１２４は、画像の空間周波数を解析する。内視鏡２が被写体に近接している場合は、得られる画像の空間周波数が低く、内視鏡２が被写体から遠ざかっている場合は空間周波数が高くなる。図１１は、空間周波数と、補正ゲイン（補正パラメータ）との関係を示す模式図である。空間周波数解析部１１２４が解析した空間周波数は補正ゲイン決定部１１２６に送られ、補正ゲイン決定部１１２６は、図１１の特性に基づいて補正ゲインを決定する。なお、図１１の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。
【００５１】
図１１に示すように、空間周波数が低いほど、すなわち、被写体が近接しているほど、補正ゲインは低くなる。また、空間周波数が高いほど、すなわち、被写体が遠ざかっているほど、補正ゲインは高くなる。上述のように、被写体までの距離が大きくなるほど、内視鏡２のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。
【００５２】
図１２は、内視鏡２が二眼ステレオ撮影を行う場合に、ステレオ視によって内視鏡２と被写体との間の距離を取得する構成例を示す模式図である。このため、図１２に示す構成では、図４Ｂの構成に加え、距離情報検出部１１２８、補正ゲイン決定部１１３０、ゲイン調整部１１２３を有する。距離情報検出部１１２８は、ステレオ画像の視差に基づいて被写体までの距離を検出する。図１３は、被写体までの距離と、補正ゲイン（補正パラメータ）との関係を示す模式図である。距離情報検出部１１２８が検出した被写体までの距離は補正ゲイン決定部１１３０に送られ、補正ゲイン決定部１１３０は、図１３の特性に基づいて補正ゲインを決定する。なお、図１３の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。
【００５３】
図１３においても、被写体が近接しているほど、補正ゲインは低くなる。また、被写体が遠ざかっているほど、補正ゲインは高くなる。上述のように、被写体までの距離が大きくなるほど、内視鏡２のぶれに起因する画像の乱れが大きくなるため、被写体までの距離が大きくなるほど補正ゲインの値を大きくして、ぶれ補正の強度を高くする。これにより、被写体までの距離に応じて、最適にぶれを補正することが可能となる。
【００５４】
図１４は、ぶれ補正の後に電子ズームを行う場合の構成例を示す模式図である。図１４に示す構成では、図４Ｂの構成に加え、電子ズーム１１４０、補正ゲイン決定部１１４２、ユーザインタフェース（ＵＩ）１１４４、ゲイン調整部１１２３が設けられている。補正ゲイン決定部１１４２は、電子ズーム１１４０のズーム倍率に応じて補正ゲインを決定する。図１５は、ズーム倍率と補正ゲインとの関係を示す特性図である。補正ゲイン決定部１１４２は、図１５に基づいて補正ゲインを決定する。図１５に示すように、ズーム倍率が大きくなるほど、補正ゲインの値は増加する。
【００５５】
ズーム倍率が大きいほど、被写体が拡大されているため、内視鏡２のぶれに起因する画像の乱れが大きくなる。従って、ズーム倍率が大きいほど補正ゲインを大きくすることで、最適にぶれを補正することが可能となる。なお、図１５の破線に示すように連続的にゲイン調整してもよいし、実線に示すように離散的に補正ゲインを変化させてオン／オフを制御してもよい。なお、上述したフォーカスレンズ位置取得部１１２０、空間周波数解析部１１２４、距離情報検出部１１２８、電子ズーム１１４０は、被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部に相当する。
【００５６】
６．顕微鏡装置への適用
図１６は、顕微鏡装置（手術用顕微鏡）で撮像した画像のぶれ補正を行う構成例を示す模式図である。上述した例では、内視鏡２により撮像した画像のぶれ補正について説明したが、顕微鏡装置で撮像した画像に対しても同様に適用できる。図１６に示す構成は、入力画像が顕微鏡画像である点以外は、図４Ａと同様である。顕微鏡装置は、一般的に観察対象（患者の術部）を拡大観察するための顕微鏡部と、顕微鏡部を先端で支持するアーム部と、アーム部の基端を支持するベース部と、を有する。顕微鏡部は、撮像装置（撮像素子）によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。顕微鏡装置を用いた手術の場合、建物やアームのぶれが原因でビデオ撮影した画像に見づらさを感じる場合がある。このため、例えば、脳神神経外科での開頭手術の際、内視鏡２の場合と同様に、特徴点抽出部１０１０が入力画像から特徴点を抽出し、動きベクトル抽出部１０２０が特徴点ごとに動きベクトル検出を行い、画像ぶれ量推定部１０３０が画像全体のぶれ量を推定する。そして、平滑化部１０４０が時間方向のぶれ量を蓄積し、フィルタをかけて平滑化を行う。ぶれ補正部１０５０は、平滑化されたぶれ量に対し、ぶれ補正を行う。これにより、建物やアームの振動に起因するぶれの補正が可能である。手術用顕微鏡においても抑えたい“ぶれ”と抑えたくない“ぶれ”が想定される。表２に示したように、抑えたい“ぶれ”は、０〜１［Ｈｚ］程度の周波数と８〜９［Ｈｚ］程度の周波数である。また、抑えたくない“ぶれ”は、０または１〜８または９［Ｈｚ］程度の周波数である。
【００５７】
顕微鏡装置向けのぶれ補正において、より精度の高いぶれ補正を行うために、アーム振動センサ１１３２をアームに設置する。加えて、建物の振動を検出するために、床に床振動センサ１１３４を設置し、天井に天井振動センサ１１３６を設置する。図１７は、各センサからの振動情報を入力として、それぞれの固有振動成分を抑制するような周波数フィルタを生成する周波数フィルタ生成部１１３８を図１６の構成に対して設けた例を示す模式図である。また、図１８は、周波数フィルタ１１３８（バンドパスフィルタ）の特性を示す模式図である。図１８に示す周波数フィルタ１１３８を用いて平滑化部１０４が平滑化処理を行うことで、アーム振動センサ１１３２、床振動センサ１１３４、天井振動センサ１１３６により検出されるアーム振動、床振動、天井振動の固有振動成分をぶれ補正部１０５０によるぶれ補正の対象とし、これらに起因するぶれを抑制することが可能である。
【００５８】
図１９は、本実施形態による時間方向フィルタでの平滑化を行うことにより、動画上でノイズ低減（NR:Noise Reduction）効果を得る場合の構成例を示す模式図である。図１９に示す構成例では、図４Ｂの構成に加え、フレーム位置補正部１１４５、フレーム加算部１１４６が追加されている。図４Ｂと同様に、入力画から色分布および空間周波数分布を抽出し、シーン判定を行った上でフィルタを選択し、平滑化を行う。それぞれのフレームに対してフレーム位置補正部１１４４が位置補正を行い、フレーム加算部１１４６が各フレームを加算していくことにより、動画上でノイズ低減効果を得ることができる。
【００５９】
以上説明したように本実施形態によれば、診療科や術式に応じたシーンに基づいて、状況に応じてぶれ補正をするようにしたため、生体動きに起因する画面動きを除去することなく、ぶれ補正を行うことができる。従って、状況に応じた最適な医療用画像を提供することが可能となる。
【００６０】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００６１】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【００６２】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）  被写体の生体動きを含む医療用画像のぶれ量を推定するぶれ量推定部と、
前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、
を備える、画像処理装置。
（２）  前記ぶれ補正処理部は、
前記ぶれ量を時間方向に蓄積して平滑化する平滑化部と、
平滑化された前記ぶれ量に基づいてぶれ補正を行うぶれ補正部と、を備え、
前記ぶれ補正処理部は、前記平滑化のための平滑化フィルタを変更することで、状況に応じて前記ぶれ補正処理を行う、前記（１）に記載の画像処理装置。
（３）  前記ぶれ補正処理部は、手術が行われている状況、手術の術式、又は診療科に応じて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（４）  前記ぶれ補正処理部は、ユーザ指示に応じて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（５）  前記ぶれ量の周波数解析を行う周波数解析部を備え、
前記ぶれ補正処理部は、前記周波数解析の結果に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（６）  医療用画像の色分布を抽出する色分布抽出部を備え、
前記ぶれ補正処理部は、前記色分布に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（７）  医療用画像の空間周波数分布を抽出する空間周波数分布抽出部を備え、
前記ぶれ補正処理部は、前記空間周波数分布に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（８）  医療用画像のマスク径を検出するマスク径検出部を備え、
前記ぶれ補正処理部は、前記マスク径に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（９）  手術におけるトロッカの使用の有無を検出するトロッカ有無検出部を備え、
前記ぶれ補正処理部は、前記トロッカの使用の有無に基づいて前記ぶれ補正処理を行う、前記（２）に記載の画像処理装置。
（１０）  被写体までの距離に関連する距離関連パラメータを取得する距離関連パラメータ取得部と、
前記距離関連パラメータに基づいて前記ぶれ補正処理のゲインを調整するゲイン調整部と、
を更に備える、前記（１）〜（９）のいずれかに記載の画像処理装置。
（１１）  前記ゲイン調整部は、被写体までの距離が大きいほど前記ゲインを大きくする、前記（１０）に記載の画像処理装置。
（１２）  前記距離関連パラメータは、フォーカスレンズの位置情報、被写体の空間周波数、立体画像における視差、又はズーム倍率である、前記（１０）に記載の画像処理装置。
（１３）  前記医療用画像から特徴点を抽出する特徴点抽出部と、
前記特徴点から動きベクトルを抽出する動きベクトル抽出部と、を備え、
前記ぶれ量推定部は、前記動きベクトルに基づいて前記ぶれ量を推定する、前記（１）〜（１２）のいずれかに記載の画像処理装置。
（１４）  前記特徴点抽出部は、医療用画像のマスク径に基づいて、前記マスク径が小さい程、マスク内のより狭い範囲から前記特徴点を抽出する、前記（１３）に記載の画像処理装置。
（１５）  前記医療用画像は、内視鏡画像又は顕微鏡画像である、前記（２）に記載の画像処理装置。
（１６）  前記医療用画像は顕微鏡画像であり、外部振動に起因するぶれを除去するために前記平滑化フィルタを生成するフィルタ生成部を備える、前記（１５）に記載の画像処理装置。
（１７）  前記フィルタ生成部は、前記外部振動を検出するセンサの検出値に基づいて前記平滑化フィルタを生成する、前記（１６）に記載の画像処理装置。
（１８）  被写体の生体動きを含む医療用画像のぶれ量を推定することと、
前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うことと、
を備える、画像処理方法。
（１９）  被写体の生体動きを含む医療用画像を撮像する撮像装置と、
前記医療用画像のぶれ量を推定するぶれ量推定部と、前記ぶれ量に基づいて、前記生体動きに起因する画面動きを除去しないように、ぶれ補正処理を行うぶれ補正処理部と、を有する、画像処理装置と、
を備える医療システム。
【符号の説明】
【００６３】
１０３０    画面ぶれ量推定部
１０４０    平滑化部
１０５０    ぶれ補正部
１０７１    周波数解析部
１１１０    色分布抽出部
１１１２    空間周波数分布抽出部
１１１４    マスク径検出部
１１１６    トロッカ有無検出部
１１２０    フォーカスレンズ位置取得部
１１２４    空間周波数解析部
１１２８    距離情報検出部
【図１】
2017169139.tif 000005
【図２】
2017169139.tif 000006
【図３】
2017169139.tif 000007
【図４Ａ】
2017169139.tif 000008
【図４Ｂ】
2017169139.tif 000009
【図４Ｃ】
2017169139.tif 000010
【図４Ｄ】
2017169139.tif 000011
【図５】
2017169139.tif 000012
【図６Ａ】
2017169139.tif 000013
【図６Ｂ】
2017169139.tif 000014
【図７】
2017169139.tif 000015
【図８】
2017169139.tif 000016
【図９】
2017169139.tif 000017
【図１０】
2017169139.tif 000018
【図１１】
2017169139.tif 000019
【図１２】
2017169139.tif 000020
【図１３】
2017169139.tif 000021
【図１４】
2017169139.tif 000022
【図１５】
2017169139.tif 000023
【図１６】
2017169139.tif 000024
【図１７】
2017169139.tif 000025
【図１８】
2017169139.tif 000026
【図１９】
2017169139.tif 000027
【国際調査報告】
2017169139.tif 000028
2017169139.tif 000029
2017169139.tif 000030
2017169139.tif 000031