【手続補正書】
【提出日】平成31年3月6日(2019.3.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、
補正画像を生成するよう制御する制御部を有し、
前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、
画像処理装置。
【請求項２】
前記関数は、前記条件が互いに異なる複数の関数であって、
前記制御部は、前記複数の関数のうち少なくともいずれかの当該関数に基づき、前記補正画像を生成するよう制御する、
請求項１に記載の画像処理装置。
【請求項３】
前記観察に関する条件とは、前記画像から得た検波情報、または前記画像の撮像条件である
請求項１に記載の画像処理装置。
【請求項４】
前記検波情報とは、
前記画像の色成分情報、エッジ情報、コントラスト情報、または輝度情報である
請求項３に記載の画像処理装置。
【請求項５】
前記撮像条件とは、
前記画像を撮像した際の照射光情報、フォーカス距離情報、フォーカス位置情報、フォーカス制御情報、フォーカスレンズ位置情報、光学ズーム制御情報、または光学ズームレンズ位置情報である
請求項３に記載の画像処理装置。
【請求項６】
前記制御部は、前記条件に応じて、前記複数の関数から適用する関数を選択し、当該関数に基づき、前記補正画像を生成するよう制御する
請求項２に記載の画像処理装置。
【請求項７】
前記関数は、前記条件に応じて重み付けを行った複数の関数である
請求項６に記載の画像処理装置。
【請求項８】
前記関数は、前記条件に応じた分布関数に基づいて算出された複数の関数である
請求項６に記載の画像処理装置。
【請求項９】
前記関数は、点像分布関数である、請求項１〜８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記補正画像を生成するための処理は、前記点像分布関数に基づくデコンボリューションである、請求項９に記載の画像処理装置。
【請求項１１】
検体の画像を撮像する撮像部と、前記撮像部に対して前記検体の被写体像を結像する光学系と、を含む撮像装置と、
前記撮像部により撮像された画像から補正画像を生成するよう制御する画像処理装置と、
を備え、
前記画像処理装置は、
前記画像と、前記画像のボケ量を調整するための関数に基づき、
補正画像を生成する制御部を有し、
前記関数は、前記被写体の観察に関する条件に応じて算出される、
医療用画像処理システム。
【請求項１２】
前記撮像装置は、前記光学系を含む鏡筒の少なくとも一部が、前記検体の体腔に挿入される内視鏡である、請求項１１に記載の医療用画像処理システム。
【請求項１３】
前記鏡筒は、前記撮像部に対して着脱可能に構成され、
前記鏡筒と前記撮像部との間に、当該撮像部に被写体像を結像する光学系の振幅伝達関数を制御するための光学素子が介在し、
前記関数は、前記光学素子の特性に応じて算出された関数である、
請求項１２に記載の医療用画像処理システム。
【請求項１４】
前記光学素子は、前記鏡筒の、前記撮像部に装着される端部側に保持されている、請求項１３に記載の医療用画像処理システム。
【請求項１５】
前記光学素子は、前記撮像部の、前記鏡筒が装着される端部側に保持されている、請求項１３に記載の医療用画像処理システム。
【請求項１６】
前記光学素子は、前記撮像部及び前記鏡筒それぞれに対して着脱可能に構成されている、請求項１３に記載の医療用画像処理システム。
【請求項１７】
プロセッサが、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを含み、
前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、
画像処理方法。
【請求項１８】
コンピュータに、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを実行させ、
前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、
プログラムが記録された記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
【図１】本開示の一実施形態に係る内視鏡装置の概略構成の一例について説明するための説明図である。
【図２】同実施形態に係る内視鏡装置に適用される光学素子の概略的な構成の一例について説明するための説明図である。
【図３】同実施形態に係る内視鏡装置の構成の一例について説明するための説明図である。
【図４】同実施形態に係る光学素子の特性について説明するための説明図である。
【図５】同実施形態に係る光学素子の特性について説明するための説明図である。
【図６】同実施形態に係る内視鏡装置に適用される光学素子の特性の一例について説明するための説明図である。
【図７】同実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。
【図８】ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。
【図９】ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。
【図１０】ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。
【図１１】同実施形態に係る画像処理装置の一連の処理の流れの一例について示したフローチャートである。
【図１２】実施例１−１に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。
【図１３】実施例１−２に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。
【図１４】実施例１−２に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。
【図１５】実施例１−３に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。
【図１６】実施例２−１に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。
【図１７】実施例２−２に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。
【図１８】実施例２−２に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。
【図１９】実施例２−３に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。
【図２０】実施例２−７に係る画像処理装置による、ＰＳＦ情報の切り替えに係る制御の一例について説明するための説明図である。
【図２１】同実施形態に係る内視鏡装置を構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
また、他の一例として、参照符号１０ｂで示した内視鏡の構成例は、光学素子１２をカメラヘッド１３の一部として構成した場合の一例である。具体的には、内視鏡１０ｂにおいては、カメラヘッド１３ｂのうち、鏡筒１１ｂに装着される側の端部に光学素子１２ｂが保持されている。このような構成により、鏡筒１１ｂにより集光された光がカメラヘッド１３ｂに入射する際に、光学素子１２ｂを通過することとなる。このような構成であれば、専用の内視鏡ではなく、従来の内視鏡を用いて、被写界深度拡大処理を行う事が可能となり得る。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
ＰＳＦ記憶部５１２は、ＰＳＦ取得部５１１により取得されたＰＳＦ情報を記憶するための構成である。ＰＳＦ記憶部５１２は、例えば、所謂データベース（ＤＢ）として構成されていてもよい。ＰＳＦ記憶部５１２は、各機器（即ち、鏡筒１１、光学素子１２、カメラヘッド１３等）に対応するＰＳＦ情報を、当該機器を示す情報や、当該ＰＳＦ情報を取得するための条件（例えば、観察範囲の条件）を示す情報と関連付けて記憶する。より具体的な一例として、ＰＳＦ記憶部５１２は、鏡筒１１とカメラヘッド１３との組み合わせ、光学素子１２の装着の有無、及び当該光学素子１２の種類等のように、光学的な特性が変化する組み合わせごとにＰＳＦ情報を記憶してもよい。なお、この場合には、前述したＰＳＦ取得部５１１は、光学的な特性が変化する組み合わせごとにＰＳＦ情報を取得してもよい。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
画像処理部５１７は、選択部５１６からＰＳＦ情報を取得し、カメラヘッド１３により撮像された画像を入力画像として、当該入力画像に対して取得したＰＳＦ情報に基づき復元処理を施すことで、被写体像の画像の劣化（即ち、ボケ）を改善する。当該復元処理としては、例えば、所謂デコンボリューションと称される処理が挙げられる。より具体的な一例として、画像処理部５１７は、入力画像に対して取得したＰＳＦ情報の逆特性に基づく画像処理（例えば、フィルタ処理）を施すことで、当該ＰＳＦ情報が示す光学的特性に応じて生じる画像の劣化（ボケ）を改善する。もちろん、ＰＳＦ情報に基づき、被写体像の画像の劣化を改善することが可能であれば、入力画像に対して施される復元処理は、必ずしもデコンボリューションのみには限定されない。なお、画像処理部５１７により復元処理が施された画像は、例えば、図１に示す表示装置５３を介してユーザに提示される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９６
【補正方法】変更
【補正の内容】
【００９６】
以上、図７〜図１０を参照して、図１に示したＣＣＵ５１の構成のうち、特に、画像処理装置として動作する部分の機能構成の一例について説明した。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９７
【補正方法】変更
【補正の内容】
【００９７】
＜３．２．画像処理装置の処理＞
次いで、図１１を参照して、本実施形態に係る画像処理装置５１０の一連の処理の流れの一例について説明する。図１１は、本実施形態に係る画像処理装置５１０の一連の処理の流れの一例について示したフローチャートである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
そして、画像処理装置５１０（画像処理部５１７）は、カメラヘッド１３により撮像された画像を入力画像として、当該入力画像に対して選択したＰＳＦ情報に基づき、被写体像の画像の劣化（即ち、ボケ）に対しデコンボリューション等の復元処理を施すことで、画像を復元する（Ｓ１０９）。なお、画像処理部５１７により復元処理が施された画像は、例えば、所定の表示装置を介してユーザに提示される。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１２７
【補正方法】変更
【補正の内容】
【０１２７】
（実施例２−１：被写体の細かさに応じた制御）
まず、実施例２−１として、図１６を参照して、合焦位置における被写体の細かさに応じて、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明する。図１６は、実施例２−１に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。なお、以降の説明では、所定のＡＦ（Auto  Focus）方式に基づく焦点検出のための検波値を、「ＡＦ検波値」とも称する。なお、焦点検出は、画像内のコントラスト情報、輝度情報、エッジ情報等に基づき行われる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０１３２
【補正方法】変更
【補正の内容】
【０１３２】
以上、実施例２−１として、図１６を参照して、合焦位置における被写体の細かさに応じて、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明した。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０１６８
【補正方法】変更
【補正の内容】
【０１６８】
一方で、画像処理装置５１０が、状態や状況を認識するような状況下においては、当該認識にミスが生じる場合もある。このような認識ミスに対して、例えば、画像処理装置５１０が、過敏に反応し、ＰＳＦ情報が一時的に誤って切り替えられると、観察者に対して提示される画像の特性が一時的に替わり、検体の観察を阻害する場合も想定され得る。このような状況を鑑み、例えば、画像処理装置５１０に対して、短期的な状態や状況の変化に応じたＰＳＦ情報の切り替えを抑制するための仕組みを設けてもよい。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１７１
【補正方法】変更
【補正の内容】
【０１７１】
例えば、図２０において、上側に「入力」として示した図は、上述したＰＳＦ情報の切り替えの抑制に係る制御の適用前における、時系列に沿った一連のフレームＦ１０１〜Ｆ１１０と、当該各フレームに対して設定された観察モードとを模式的に示している。例えば、「入力」側の図において、フレームＦ１０１〜Ｆ１０５に着目すると、フレームＦ１０３においてのみ、観察モードが一時的にｍｏｄｅＡからｍｏｄｅＢに切り替わっている。また、フレームＦ１０６〜Ｆ１１０に着目した場合には、フレームＦ１０９においてのみ、観察モードが一時的にｍｏｄｅＣからｍｏｄｅＤに切り替わっている。このような場合には、例えば、フレームＦ１０３及びＦ１０９のタイミングにおいて、復元処理に適用されるＰＳＦ情報が一時的に切り替わるため、出力される画像の特性が一時的に変化する。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１７２
【補正方法】変更
【補正の内容】
【０１７２】
これに対して、図２０において、下側に「出力」として示した図は、上述したＰＳＦ情報の切り替えの抑制に係る制御を適用した場合における、当該フレームＦ１０１〜Ｆ１１０と、当該各フレームに対して設定された観察モードとを模式的に示している。なお、「入力」側と「出力」側とで同じ符号が付されたフレームは、同じフレームを示している。例えば、「出力」側の図においては、例えば、フレームＦ１０３における観察モードが、前後のフレームにあわせてｍｏｄｅＡに修正されており、当該フレームＦ１０３に対する復元処理に適用されるＰＳＦ情報が、当該ｍｏｄｅＡに対応するＰＳＦ情報に切り替わる。同様に、フレームＦ１０９における観察モードについては、前後のフレームにあわせてｍｏｄｅＣに修正されており、当該フレームＦ１０９に対する復元処理に適用されるＰＳＦ情報が、当該ｍｏｄｅＣに対応するＰＳＦ情報に切り替わる。
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図１１
【補正方法】変更
【補正の内容】
【図１１】
2017158764.tif 000001