(57)【要約】【課題】内視鏡に係る撮像画像の画質を劣化させること無く、ファイバスコープのファイバ束に起因する偽像部分を除去し補間することができる画像処理装置を提供する。【解決手段】複数本の光ファイバを束ねてなるイメージガイドファイバ束１７を有するファイバスコープ１の接眼部１８に形成される被写体像を撮像して得られる撮像画像データに対して画像処理を実行する画像処理装置に、撮像画像データに係る撮像画像に含まれ、光ファイバに起因する偽像部分を検出する偽像検出部と、撮像画像に含まれる偽像部分に対して、偽像部分を除去し補間する画像処理を局所的に実行する画像処理部とを備える。【選択図】図２
2019118527.tif 000002
【特許請求の範囲】
【請求項１】
複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対して画像処理を実行する画像処理装置であって、
前記撮像画像データに係る撮像画像に含まれ、前記光ファイバに起因する偽像部分を検出する偽像検出部と、
前記撮像画像に含まれる前記偽像部分に対して、前記偽像部分を除去する画像処理を実行する偽像除去部と
を備える画像処理装置。
【請求項２】
前記偽像検出部は、
前記撮像画像を構成する各画素の画素値に係る分散値に基づいて、前記偽像部分を検出する
請求項１に記載の画像処理装置。
【請求項３】
前記偽像部分の画素と、前記撮像画像の実像部分の画素とを区分けするマスク画像を生成するマスク画像生成部を備え、
前記偽像除去部は、
前記マスク画像生成部にて生成された前記マスク画像を用いて、前記偽像部分の画素を除去する画像処理を実行する
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記マスク画像生成部は、
前記撮像画像を構成する各画素の画素値を２値化することによって、前記マスク画像を生成する
請求項３に記載の画像処理装置。
【請求項５】
前記撮像画像を構成する各画素の画素値の度数分布に基づいて、前記撮像画像を２値化するための閾値を特定する閾値特定部を備え、
前記マスク画像生成部は、
前記閾値特定部にて特定された閾値を用いて、前記撮像画像を構成する各画素の画素値を２値化することにより前記マスク画像を生成する
請求項４に記載の画像処理装置。
【請求項６】
前記マスク画像は前記撮像画像を構成する複数の画素にそれぞれ対応する画素を含み、前記偽像部分に対応する画素の画素値が第１値、前記実像部分に対応する画素の画素値が第２値であり、
前記偽像除去部は、
前記撮像画像データに対して、前記偽像部分を構成する画素の画素値を、前記実像部分を構成する画素の画素値にて補間する補間処理を実行する補間処理部を備え、
前記マスク画像生成部にて生成された前記マスク画像を用いて、画素値が第１値の画素に対して、該画素に対応する補間処理後の画素値を割り当て、画素値が第２値の画素に対して、該画素に対応する前記実像部分の画素値を割り当てることによって、前記偽像部分を除去する
請求項３〜請求項５までのいずれか一項に記載の画像処理装置。
【請求項７】
前記偽像除去部は、
前記撮像画像データに対して、前記偽像部分を構成する画素の画素値を、前記撮像画像の実像部分を構成する画素の画素値にて補間する補間処理を実行する補間処理部を備える
請求項１〜請求項５までのいずれか一項に記載の画像処理装置。
【請求項８】
前記補間処理部は、
前記撮像画像に対して、最大値フィルタ、中間値フィルタ、若しくは平均値フィルタを用いて補間処理を実行する
請求項６又は請求項７に記載の画像処理装置。
【請求項９】
前記補間処理部は、
前記撮像画像の前記実像部分を構成する画素の画素値を用いて、前記偽像部分を構成する画素の画素値を多項式補間する
請求項６又は請求項７に記載の画像処理装置。
【請求項１０】
補間処理が行われた後の画像に残存する前記偽像部分を検出する残存偽像検出部を備え、
前記補間処理部は、
前記残存偽像検出部にて残存する偽像部分が検出されなくなるまで、繰り返し補間処理を実行する
請求項６〜請求項９までのいずれか一項に記載の画像処理装置。
【請求項１１】
前記残存偽像検出部は、
前記撮像画像を構成する各画素の画素値に係る分散値に基づいて、残存する前記偽像部分を検出する
請求項１０に記載の画像処理装置。
【請求項１２】
前記偽像検出部にて前記偽像部分が検出されたとき、前記偽像除去部にて前記偽像部分が除去された前記撮像画像データを出力し、前記偽像検出部にて偽像部分が検出されなかったとき、前記偽像除去部による画像処理を行わずに前記撮像画像データを出力する
請求項１〜請求項１１までのいずれか一項に記載の画像処理装置。
【請求項１３】
前記撮像画像データは、色が異なる複数の単色の撮像画像データを含み、
前記偽像検出部及び前記偽像除去部は各撮像画像データに対して、前記偽像部分を検出して除去する処理を各別に実行する
請求項１〜請求項１２までのいずれか一項に記載の画像処理装置。
【請求項１４】
複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対して画像処理を実行する画像処理方法であって、
前記撮像画像データに係る撮像画像に含まれ、前記光ファイバに起因する偽像部分を検出し、
前記撮像画像に含まれる前記偽像部分に対して、前記偽像部分を除去する画像処理を実行する
画像処理方法。
【請求項１５】
コンピュータに、複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対する画像処理を実行させるためのコンピュータプログラムであって、
前記コンピュータに、
前記撮像画像データに係る撮像画像に含まれ、前記光ファイバに起因する偽像部分を検出し、
前記撮像画像に含まれる前記偽像部分に対して、前記偽像部分を除去する画像処理を実行する
処理を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対して画像処理を実行する画像処理装置、画像処理方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープと、ファイバスコープの接眼部に取り付けられる撮像装置と、撮像装置にて撮像された被写体の映像を外部モニタに表示するプロセッサとを備えた内視鏡システムがある（例えば、特許文献１）。
また近年の半導体技術の進歩により、高画素数の撮像素子が実用化され、ファイバスコープを用いた内視鏡システムにおいても、撮像画像の高画質表示が可能になった。
【０００３】
一方、ファイバスコープを構成する光ファイバ１本１本の画素と、撮像素子の画素との関係に起因するビート現象によりモアレが生じることがあった。モアレを除去する方法としては、光学フィルタにより、撮像画像をぼかしてモアレを低減する方法、画像処理により撮像画像をぼかしてモアレを低減する方法、光学系の焦点をずらすことにより撮像画像をぼかしてモアレを低減する方法等がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２４６７８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、撮像素子の高画素化により、ファイバスコープを構成する光ファイバ１本１本の境界部分の画像が偽像として撮像画像に写ってしまうという問題があった。光ファイバの１本１本に対応する部分は、小さな黒い点画像として撮像画像に表れる（図７Ａ参照）。以下、撮像画像に表れる当該点画像を偽像部分、当該偽像部分以外の画像部分を実像部分と呼ぶ。
モアレを低減する方法を用いて、画像の低周波成分を強調し偽像部分を目立たなくすることも考えられるが、高周波成分の部分がぼやけてしまい元々の画像の空間分解能が劣化してしまう。
【０００６】
本発明の目的は、内視鏡に係る撮像画像の高周波成分の画質を劣化させること無く、ファイバスコープのファイバ束に起因する偽像部分を除去することができる画像処理装置、画像処理方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対して画像処理を実行する画像処理装置であって、前記撮像画像データに係る撮像画像に含まれ、前記光ファイバに起因する偽像部分を検出する偽像検出部と、前記撮像画像に含まれる前記偽像部分に対して、前記偽像部分を除去する画像処理を実行する偽像除去部とを備える。
【０００８】
本発明に係る画像処理方法は、複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対して画像処理を実行する画像処理方法であって、前記撮像画像データに係る撮像画像に含まれ、前記光ファイバに起因する偽像部分を検出し、前記撮像画像に含まれる前記偽像部分に対して、前記偽像部分を除去する画像処理を実行する。
【０００９】
本発明に係るコンピュータプログラムは、コンピュータに、複数本の光ファイバを束ねてなるファイバ束を有するファイバスコープの接眼部に形成される被写体像を撮像して得られる撮像画像データに対する画像処理を実行させるためのコンピュータプログラムであって、前記コンピュータに、前記撮像画像データに係る撮像画像に含まれ、前記光ファイバに起因する偽像部分を検出し、前記撮像画像に含まれる前記偽像部分に対して、前記偽像部分を除去する画像処理を実行する処理を実行させるプログラムである。
【発明の効果】
【００１０】
本発明によれば、内視鏡に係る撮像画像の画質を劣化させること無く、ファイバスコープのファイバ束に起因する偽像部分を除去することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態１に係る内視鏡システムの一構成例を示す模式図である。
【図２】実施形態１に係る内視鏡システムの一構成例を示すブロック図である。
【図３】実施形態１に係る画像処理部の一構成例を示すブロック図である。
【図４】実施形態１に係る画像処理手順を示すフローチャートである。
【図５】画像処理方法を示す概念図である。
【図６】撮像画像の一例を示す模式図である。
【図７】撮像画像の一例を示す写真である。
【図８】実施形態２に係る内視鏡システムの一構成例を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下、本発明をその実施形態を示す図面に基づいて詳述する。
（実施形態１）
図１は実施形態１に係る内視鏡システムの一構成例を示す模式図、図２は実施形態１に係る内視鏡システムの一構成例を示すブロック図である。内視鏡システムは、ファイバスコープ１、撮像装置２、プロセッサ３及び外部モニタ４を備える。
【００１３】
＜ファイバスコープの構成＞
ファイバスコープ１は、図１に示すように患者の体内に挿入される可撓性の挿入管１１を備える。挿入管１１の一端部には硬質樹脂製の先端部１１ａが設けられ、挿入管１１の他端部には手元操作部１２が設けられている。挿入管１１と先端部１１ａとの連結箇所は手元操作部１２の操作によって湾曲自在に構成されている。手元操作部１２にはライトガイド部１３の一端部が接続され、ライトガイド部１３の他端部には、ファイバスコープ１と、プロセッサ３とを光学的に接続するための光コネクタ部１３ａが設けられている。
【００１４】
ファイバスコープ１のライトガイド部１３及び挿入管１１の内部には、図２に示すようにプロセッサ３から出力される照明光を光コネクタ部１３ａから先端部１１ａへ導くライトガイドファイバ束１４が挿通されている。ライトガイドファイバ束１４は、束ねられた複数本の光ファイバで構成されている。
【００１５】
ファイバスコープ１の先端部１１ａには、照明光学系１５及び対物光学系１６が設けられている。照明光学系１５は、ライトガイドファイバ束１４の出口端から出射される照明光を集光し、体内の被写体へ出射する。対物光学系１６は、照明された被写体から反射される反射光を集光する。
【００１６】
ファイバスコープ１は、図２に示すように、対物光学系１６によって集光された光を先端部１１ａから手元操作部１２へ導くイメージガイドファイバ束１７を備える。イメージガイドファイバ束１７は、束ねられた複数本の光ファイバで構成される。イメージガイドファイバ束１７の一端面は、対物光学系１６によって集光された光が当該一端面に入射するように、対物光学系１６に相対する位置に固定されている。
【００１７】
手元操作部１２には、イメージガイドファイバ束１７の他端面から出射した光を被斜体像として結像させる接眼光学系１８ａを内部に有する接眼部１８が設けられている。また、接眼部１８は、撮像装置２が取り付けられる取付部が形成されている。取付部は例えば、雌ネジ又は雄ネジである。
【００１８】
＜撮像装置の構成＞
撮像装置２は、ファイバスコープ１によって伝送され、接眼部１８に形成された体内の被写体像を撮像し、撮像して得た画像信号をプロセッサ３へ出力する装置である。撮像装置２は、ファイバスコープ１に接続される接続部２１と、接眼部１８に形成された被写体像を撮像し、撮像して得た画像信号を出力する撮像部２２とを備える。また、ファイバスコープ１は、撮像部２２を駆動すると共に、撮像部２２が出力する画像信号を伝送するためのケーブル２３を備える。ケーブル２３の一端は撮像部２２に接続され、ケーブル２３の他端には撮像装置２をプロセッサ３に電気的に接続するためのコネクタ部２４ａを有する基端部２４が設けられている。
【００１９】
撮像部２２は、撮像素子２２ａ及びアナログフロントエンド２２ｂを備える。撮像素子２２ａは、接眼光学系１８ａによって受光面に結ぶ被写体像を電気信号に変換して出力するＣＭＯＳ（Complementary Metal Oxide Semiconductor）、ＣＣＤ（Charge Coupled Device）等である。アナログフロントエンド２２ｂは、撮像素子２２ａから出力された電気信号を増幅し、Ａ／Ｄ変換し、撮像素子２２ａの各画素の輝度を示す画像信号を出力する。
なお、撮像素子２２ａは、カラー撮像素子であっても良いし、モノクロ撮像素子であっても良い。カラー撮像素子の場合、撮像素子２２ａは赤色（Ｒ）画像信号、緑色（Ｇ）画像信号、青色（Ｂ）画像信号を出力する。
【００２０】
ケーブル２３の基端部２４には、撮像素子２２ａを駆動する駆動制御部２５が設けられている。駆動制御部２５はコネクタ部２４ａを介して後述する信号処理部３２に接続される。駆動制御部２５は、ケーブル２３の内部を挿通する制御線及び信号線によって、撮像素子２２ａ及びアナログフロントエンド２２ｂに接続されている。駆動制御部２５は、プロセッサ３から出力される制御信号に従って動作し、図示しないタイミングコントローラから出力されるクロックパルスに同期したタイミングで撮像素子２２ａを駆動し、画像信号を信号処理部３２へ出力する。
また、駆動制御部２５は、画像処理部２６（画像処理装置）を備える。駆動制御部２５に入力された画像信号はデジタルの撮像画像データに変換され、撮像画像データは画像処理部２６に入力される。画像処理部２６は、撮像画像データに対して、本実施形態１に係る画像処理を実行し、画像処理された撮像画像データをプロセッサ３へ出力する。画像処理部２６の構成の詳細は後述する。
【００２１】
＜プロセッサの構成＞
プロセッサ３は、各構成部の動作を制御するシステムコントローラ３１を備え、システムコントローラ３１には、信号処理部３２及び光源装置３３が接続されている。
【００２２】
システムコントローラ３１は、例えばＣＰＵ（Central Processing Unit)、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を有するマイコン、ＤＳＰ（Digital Signal Processor）等である。システムコントローラ３１は、信号処理部３２、光源装置３３へ制御命令を出力することによって、各部の動作を制御する。
【００２３】
信号処理部３２は、例えばＤＳＰであり、ファイバスコープ１から出力された画像信号を入力する。信号処理部３２は、入力した画像信号に対してガンマ補正、補間処理等の各種画像処理、各種文字及び画像の重畳処理等を実行し、所定の規格に準拠した映像信号に変換して外部モニタ４へ出力する。外部モニタ４は、プロセッサ３から出力された映像信号に基づいて、ファイバスコープ１で撮像された画像を表示する液晶モニタ、有機ＥＬディスプレイモニタ、プラズマディスプレイモニタ、ＣＲＴモニタ等である。また、信号処理部３２は、ファイバスコープ１へ供給する照明光の光量等を制御するための情報として、撮像画像５の輝度を示す輝度情報をシステムコントローラ３１へ出力する。
【００２４】
光源装置３３は、光源３３ａ、集光レンズ３３ｂ、ランプ電源３３ｃ、絞り３３ｄ、モータ３３ｅ及びモータ駆動部３３ｆを備える。
【００２５】
光源３３ａは、例えばキセノンランプ、ハロゲンランプ、メタルハライドランプ、ＬＥＤ等の高輝度ランプであり、少なくとも可視光領域を含む照射光を放射する。
【００２６】
ランプ電源３３ｃは、光源３３ａの点灯を始動させるイグナイタ、ランプ点灯後の電流制御を行う安定化電源装置等を備える。ランプ電源３３ｃは、システムコントローラ３１から出力される制御命令に従って光源３３ａを点灯及び消灯させる。
【００２７】
集光レンズ３３ｂは、光源３３ａから放射された照射光を集光し、絞り３３ｄを介してライトガイドファイバ束１４の入口端へ導く光学素子である。
【００２８】
絞り３３ｄは、光源３３ａからライトガイドファイバ束１４へ至る光路上に配置され、光源３３ａからライトガイドファイバ束１４へ入射する光量を調整する遮蔽体である。遮蔽体は、例えば板状であり、照射光の遮蔽面積が変化するように回転軸によって回転可能に支持されている。回転軸は、図示しない歯車機構等を介してモータ３３ｅに接続されている。
【００２９】
モータ３３ｅは、正回転又は逆回転することによって遮蔽板を回転させることができ、光源３３ａからファイバスコープ１へ供給される照射光の光量を増減させる。つまり、モータ３３ｅは、絞り３３ｄの開度を変化させる動力源である。
【００３０】
モータ駆動部３３ｆは、システムコントローラ３１から出力される絞り３３ｄの制御量に応じてモータ３３ｅを正回転又は逆回転させる。つまり、モータ駆動部３３ｆは、制御量の大きさに応じて照射光が増減するように、モータ３３ｅを回転させる。
【００３１】
なお、ここでは光源装置３３をプロセッサ３に設ける例を説明したが、照明光を出力する発光素子をファイバスコープ１の先端部１１ａに設けても良い。また、プロセッサ３及び光源装置３３を別体で構成しても良い。つまり、プロセッサ３及び光源装置３３を異なる筐体に収納するように構成しても良い。
【００３２】
図３は実施形態１に係る画像処理部２６の一構成例を示すブロック図である。画像処理部２６は、本実施形態１に係る画像処理を実行する画像処理装置である。画像処理部２６は、演算部２６ａを備え、演算部２６ａには、演算処理によって生ずる各種データを記憶する一時記憶部２６ｂ、コンピュータプログラム２７を記憶する不揮発性の記憶部２６ｃ、入力部２６ｄ及び出力部２６ｅが接続されている。画像処理部２６はコンピュータを構成している。入力部２６ｄには、撮像部２２から出力された撮像画像データが入力される。演算部２６ａは、コンピュータプログラム２７を実行することによって、本実施形態１に係る画像処理方法を実施する。具体的には、演算部２６ａは、入力された撮像画像データに対して、イメージガイドファイバ束１７に起因する偽像を除去する画像処理を実行し、偽像が除去された撮像画像データを、出力部２６ｅを介してプロセッサ３へ出力する。
なお、本実施形態１に係るコンピュータプログラム２７は、図示しない記録媒体にコンピュータ読み取り可能に記録された態様でも良い。記憶部２６ｃは、図示しない読出装置によって記録媒体から読み出されたコンピュータプログラム２７を記憶する。記録媒体はＣＤ（Compact Disc）−ＲＯＭ、ＤＶＤ（Digital Versatile Disc）−ＲＯＭ、ＢＤ（Blu-ray(登録商標) Disc）等の光ディスク、フレキシブルディスク、ハードディスク等の磁気ディスク、磁気光ディスク、半導体メモリ等である。また、図示しない通信網に接続されている図示しない外部コンピュータから本実施形態１に係るコンピュータプログラム２７をダウンロードし、記憶部２６ｃに記憶させても良い。
【００３３】
図４は実施形態１に係る画像処理手順を示すフローチャート、図５は画像処理方法を示す概念図である。本実施形態１に係る画像処理方法は、撮像画像データに対して、イメージガイドファイバ束１７に起因する偽像部分５１ａの有無を判定し、偽像部分５１ａが有ると判定された場合に、当該偽像部分５１ａを除去し、補間する画像処理を局所的に実行することにより、撮像画像５の高周波成分の画質を劣化させること無く、偽像部分５１ａを除去、補正するものである（図６参照）。
【００３４】
画像処理部２６は、クロックパルスに同期して、撮像画像５の各フレームに対して以下の処理を実行する。撮像画像５がカラー画像である場合、赤色（Ｒ）の撮像画像データ、緑色（Ｇ）の撮像画像データ、青色（Ｂ）の撮像画像データに対して、各別に以下の処理を実行する。まず、画像処理部２６は、撮像画像データを入力する（ステップＳ１１）。
【００３５】
図６は撮像画像５の一例を示す模式図、図７は撮像画像５の一例を示す写真である。撮像装置２には、ファイバスコープ１を有する内視鏡、硬性鏡を有する内視鏡等、異なる種類の内視鏡が接続され得る。このため、画像処理部２６には、ファイバスコープ１を用いて得られた撮像画像データ、硬性鏡を用いて得られた撮像画像データのいずれかが入力される。図６Ａ及び図７Ａは、ファイバスコープ１を有する内視鏡にて形成された被写体像を撮像して得られた撮像画像５である。撮像画像５の中央の円形部分は被写体画像５１であり、その周辺は暗部画像５０である。ファイバスコープ１にて形成される被写体像を撮像した場合、イメージガイドファイバ束１７に起因する黒点状の偽像部分５１ａが表れる。図６Ａ中、下方へ引き出された矩形部分（図７Ａ中、上方へ引き出された矩形部分）は、被写体画像５１の一部を拡大したものである。束ねられた多数の光ファイバそれぞれの端面に対応する部分が小さな黒色の点画像として表れる。偽像部分５１ａ以外の部分が実像部分５１ｂである。特に高精細の撮像装置２を、ファイバスコープ１を有する内視鏡に取り付けた場合、偽像部分５１ａが撮像画像５の画質を低下させることになる。
図６Ｂ及び図７Ｂは、硬性鏡を有する内視鏡にて形成された被写体像を撮像して得られた撮像画像５である。硬性鏡を用いた場合、イメージガイドファイバ束１７に起因する偽像部分５１ａは表れず、高精細な撮像画像５が得られる。
【００３６】
ステップＳ１１の処理を終えた画像処理部２６は、入力された撮像画像データに対して、鮮鋭化処理を実行する（ステップＳ１２）。例えば、画像処理部２６は、入力された撮像画像データに対して、アンシャープマスク処理を実行することによって、撮像画像５を高周波成分の過剰な強調を押さえつつ鮮鋭化させる。より具体的には、撮像画像データに係る撮像画像５に対して平滑化処理を実行し、元の撮像画像５を構成する各画素の画素値から、平滑化処理後の画像を構成する各画素の画素値を減算する処理を実行する。平滑化処理は、例えば５×５のボックスカーフィルターの畳み込み演算により実行される。ステップＳ１２の処理により、撮像画像５から低周波数の空間周波数成分が除去される。以下、鮮鋭化処理が実行された撮像画像データを、鮮鋭化画像データ、鮮鋭化された撮像画像５を鮮鋭化画像と呼ぶ。
なお、ステップＳ１２の処理は必須では無く、入力された撮像画像データを用いて、偽像部分５１ａを検出し、また後述するように２値化閾値を決定し、マスク画像６を生成しても良い。
【００３７】
次いで、画像処理部２６は、鮮鋭化画像データに基づいて、濃度ヒストグラム測定処理を実行する（ステップＳ１３）。具体的には、画像処理部２６は、当該鮮鋭化画像の濃度ヒストグラムを作成する。濃度ヒストグラムは、画素の階調値毎に、鮮鋭化画像を構成する複数の画素中、当該階調値を有する画素の度数を計数したものである。そして、画像処理部２６は、濃度ヒストグラムに係る分散値を算出する。当該分散値は、鮮鋭化画像の画素値のバラツキを表したものである。イメージガイドファイバ束１７に起因する偽像部分５１ａが撮像画像５に含まれている場合、濃度ヒストグラムの分散値は大きな値になる。このように、分散値は、偽像部分５１ａの有無を判定する指標になる。
なお、濃度ヒストグラムの分散値を算出する場合、撮像画像５の中央部分、つまり暗部画像５０の領域を除いた被写体画像５１の全部又は一部を用いて、濃度ヒストグラムを作成し、分散値を作成すると良い。
【００３８】
次いで、画像処理部２６は、ステップＳ１３で算出した分散値と、所定の閾値を比較することによって、撮像画像５に、イメージガイドファイバ束１７に起因する偽像部分５１ａが含まれているか否かを判定する（ステップＳ１４）。偽像部分５１ａが含まれている場合、撮像画像データは、ファイバスコープ１を用いて得られた撮像画像５の画像データであり、偽像部分５１ａが含まれていない場合、硬性鏡を用いて得られた撮像画像５の画像データであると判断できる。
なお、ステップＳ１１〜ステップＳ１４の処理を実行する駆動制御部２５又は演算部２６ａは、撮像画像データに係る撮像画像５に含まれ、イメージガイドファイバ束１７に起因する偽像部分５１ａを検出する偽像検出部として機能する。
【００３９】
偽像部分５１ａが含まれていないと判定した場合（ステップＳ１４：ＮＯ）、入力された撮像画像データに対して、偽像部分５１ａを除去する画像処理を実行すること無く、プロセッサ３へ出力し（ステップＳ１５）、処理を終える。なお、画像処理部２６は、入力された撮像画像データに対して、その他の画質改善処理を実行し、プロセッサ３へ出力しても良い。
なお、ステップＳ１４及びステップＳ１５の処理は必須では無く、撮像装置２に、ファイバスコープ１のみが接続される場合、又はファイバスコープ１が接続されていると判断できた場合、ステップＳ１４及びステップＳ１５の処理を省略し、ステップＳ１３の処理の後、ステップＳ１６の処理を実行するように構成しても良い。
【００４０】
偽像部分５１ａが含まれていると判定した場合（ステップＳ１４：ＹＥＳ）、画像処理部２６は、ステップＳ１３で作成した濃度ヒスとグラムを用いて、マスク画像６を生成するための２値化閾値を決定する（ステップＳ１６）。マスク画像６は、撮像画像データに対して２値化処理を実行することにより、偽像部分５１ａの画素と、実像部分５１ｂの画素とを区分けするための画像である。マスク画像６は、２値の画像データである。マスク画像６を構成する画素の画素値が０（第１値）である場合、当該画素に対応する撮像画像５の画素が偽像部分５１ａであることを示しており、画素値が１（第２値）である場合、当該画素に対応する撮像画像５の画素が実像部分５１ｂであることを示している。
ステップＳ１６で求める２値化閾値は、実像部分５１ｂの画素値と、偽像部分５１ａの画素値とを分けるための値である。画像処理部２６は、例えば、濃度ヒスとグラムのピーク値、分散値、平均値等に基づいて、２値化閾値を決定すれば良い。例えば、大津の手法（判別分析法）等を用いて偽像部分５１ａと実像部分５１ｂとを判別するための２値化閾値を決定しても良い。撮像画像５に偽像部分５１ａが含まれている場合、２つのピーク値が含まれる場合もある。
【００４１】
そして、画像処理部２６は、図５に示すように、鮮鋭化画像データに対して、ステップＳ１６で決定した２値化閾値を用いた２値化処理を実行することによって、マスク画像６を生成する（ステップＳ１７）。
なお、入力された撮像画像データに対して、ステップＳ１６で決定した２値化閾値を用いた２値化処理を実行することによって、マスク画像６を生成しても良い。
【００４２】
次いで、画像処理部２６は、ステップＳ１７で生成されたマスク画像６が、実像部分５１ｂ及び偽像部分５１ａを区分け可能な適切なマスク画像６であるか否かを判定する（ステップＳ１８）。例えば、画像処理部２６は、マスク画像データに対してラベリング処理、即ち領域番号付け処理を実行することによって、偽像部分５１ａの数を計算する。そして、画像処理部２６は、濃度ヒストグラムを用いて、偽像部分５１ａの総面積即ち画素数を算出する。次いで、画像処理部２６は、算出された総面積を偽像部分５１ａの数で除することによって、光ファイバ１本に対応する偽像部分５１ａの面積を算出する。画像処理部２６は、算出された一つの偽像部分５１ａの面積がファイバスコープ１の１本のライトガイド相当の画素数に相当する所定範囲内であるか否かを判定することによって、偽像部分５１ａ及び実像部分５１ｂを区分け可能な適切なマスク画像６であるか、それとも２値化閾値が正しくなく、ファイバスコープ１の１本のライトガイド相当よりも大きな領域を抽出してしまったのかどうかを判断することができる。
【００４３】
マスク画像６が不適切、つまり２値化閾値が不適切であると判定された場合（ステップＳ１８：ＮＯ）、画像処理部２６は、２値化閾値の値を調整し（ステップＳ１９）、処理をステップＳ１７へ戻す。例えば、計算で求めた一つの偽像部分５１ａの面積が所定範囲を超えている場合、２値化閾値が大きすぎた可能性があるため、２値化閾値を減少させる。計算で求めた一つの偽像部分５１ａの面積が所定範囲を下回っている場合、２値化閾値が低過ぎた可能性があるため、２値化閾値を増加させる。
なお、２値化閾値の微調整では対応でき無い場合、処理をステップＳ１６へ戻し、異なる方法で２値化閾値を決定するように構成しても良い。また、マスク画像６が不適である場合、偽像部分５１ａを除去する画像処理を実行すること無く、元の撮像画像データをプロセッサ３へ出力するように構成しても良い。
ステップＳ１８及びステップＳ１９の処理は必須では無く、適当なマスク画像６が安定的に得られる場合、当該処理ステップを省略することもできる。
【００４４】
なお、ステップＳ１３、ステップＳ１６〜ステップＳ１９の処理を実行する駆動制御部２５又は演算部２６ａは、偽像部分５１ａの画素と、撮像画像５の実像部分５１ｂの画素とを区分けするマスク画像６を生成するマスク画像生成部として機能する。特に、ステップＳ１３及びステップＳ１６の処理を実行する駆動制御部２５又は演算部２６ａは、撮像画像５を構成する各画素の画素値の度数分布に基づいて、撮像画像５を２値化するための閾値を特定する閾値特定部として機能する。
【００４５】
マスク画像６が適切であると判定された場合（ステップＳ１８：ＹＥＳ）、画像処理部２６は、図５に示すように、撮像画像データに対して、非局所的に補間処理を実行する（ステップＳ２０）。つまり、画像処理部２６は、偽像部分５１ａを構成する画素の画素値を、実像部分５１ｂを構成する画素の画素値を用いて補間する。例えば、画像処理部２６は、撮像画像データに対して、最大値フィルタを用いた畳み込み演算を複数回実行する。なお、最大値フィルタを用いた補間は一例であり、中間値フィルタ、平均値フィルタ等を用いて、偽像部分５１ａを構成する画素の画素値を補間しても良い。また、偽像部分５１ａを構成する画素の画素値を、隣接する実像部分５１ｂを構成する画素の画素値を用いて多項式補間（ラグランジュ補間）しても良い。なお、補間処理は撮像画像５全体に施されるため、高精細な実像部分５１ｂの画質を劣化させるおそれがあるが、後述のステップＳ２３の処理によって、当該問題は解消される。
以下、補間処理が実行された撮像画像データを、補間処理画像データ、補間処理された撮像画像５を補間処理画像７と呼ぶ。
【００４６】
次いで、画像処理部２６は、ステップＳ１３同様、補間処理画像データに基づいて、濃度ヒストグラム測定処理を実行し（ステップＳ２１）、補正処理画像に偽像部分５１ａが残存しているか否かを判定する（ステップＳ２２）。偽像部分５１ａが残存していると判定した場合（ステップＳ２２：ＹＥＳ）、画像処理部２６は処理をステップＳ２０へ戻し、補間処理画像データに対して、再度、補間処理を実行する。
なお、ステップＳ２１及びステップＳ２２の処理は必須では無く、安定的に適切な補間処理画像７が得られる場合、当該処理ステップを省略しても良い。
【００４７】
偽像部分５１ａが残存していないと判定した場合（ステップＳ２２：ＮＯ）、画像処理部２６は、図５に示すように、入力された撮像画像データと、補間処理画像データと、マスク画像データとに基づいて、偽像部分５１ａを除去する画像処理を実行する（ステップＳ２３）。具体的には、次の論理式（１）により、偽像部分５１ａを除去する。
偽像部分５１ａが除去された偽像除去画像８＝｛補間処理画像７  ＡＮＤ  ＮＯＴ（マスク画像６）｝  ＯＲ  ｛撮像画像５  ＡＮＤ  マスク画像６｝…（１）
但し、ＡＮＤは論理積を示し、ＯＲは論理和を示し、ＮＯＴは否定を示している。
【００４８】
つまり、画像処理部２６は、マスク画像６を用いて、マスク画像６の画素値が０の画素に対して、当該画素に対応する補間処理画像７の画素値を割り当て、マスク画像６の画素値が１の画素に対して、当該画素に対応する撮像画像５の画素値を割り当てることによって、偽像部分５１ａを除去する。
【００４９】
なお、ステップＳ２０〜ステップＳ２３の処理を実行する駆動制御部２５又は演算部２６ａは、撮像画像５に含まれる偽像部分５１ａに対して、偽像部分５１ａを除去する画像処理を実行する偽像除去部として機能する。特に、ステップＳ２０の処理を実行する駆動制御部２５又は演算部２６ａは、撮像画像データに対して、偽像部分５１ａを構成する画素の画素値を、実像部分５１ｂを構成する画素の画素値にて補間する補間処理を実行する補間処理部として機能する。ステップＳ２１〜ステップＳ２２の処理を実行する駆動制御部２５又は演算部２６ａは、補間処理が行われた後の画像に残存する偽像部分５１ａを検出する残存偽像検出部として機能する。
【００５０】
そして、画像処理部２６は、ステップＳ２３で偽像部分５１ａが除去された、偽像除去画像８の撮像画像データをプロセッサ３へ出力し（ステップＳ２４）、処理を終える。なお、偽像部分５１ａの周囲の精細な画像部分と、補間された画像部分との間の画質の差に、使用者が違和感を覚えないよう、画像処理部２６は、偽像部分５１ａに補間された画像部分と、その周辺の画像部分との空間周波数を合わせる画像処理を施すと良い。
【００５１】
このように構成された実施形態１に係る撮像装置２、画像処理方法、コンピュータプログラム２７によれば、画質を劣化させること無く、撮像画像５からイメージガイドファイバ束１７に起因する偽像部分５１ａを除去することができる。
【００５２】
また、偽像部分５１ａを含むか否かを判定し、偽像を含む場合にのみ、本実施形態１の画像処理を実行する構成であるため、必要に応じて、選択的に撮像画像データに対して画像処理を実行することができる。つまり本実施形態１に係る画像処理部２６は、硬性鏡を有する内視鏡等、元々高精細な撮像画像データが入力された場合は、返って画質を劣化させてしまうおそれのある画像処理を実行せずに当該撮像画像データを出力することができる。
【００５３】
更に、ステップＳ１４の処理によって、濃度ヒスとグラムを作成して２値化閾値を決定し、マスク画像６を生成する構成であるため、より的確にイメージガイドファイバ束１７に起因する偽像部分５１ａと、実像部分５１ｂとを区分けし、偽像部分５１ａを除去する画像処理を局所的に実行することができる。
【００５４】
更にまた、ステップＳ１８の処理によって、マスク画像６の適否を確認する構成であるため、より的確に偽像部分５１ａと、実像部分５１ｂとを区分けし、偽像部分５１ａを除去する画像処理を局所的に実行することができる。
【００５５】
更にまた、ステップＳ２０〜ステップＳ２２の処理によって、偽像部分５１ａが残存しなくなるまで、偽像部分５１ａを補間し、ステップＳ２３で偽像部分５１ａを効果的に除去することができる。なお、この場合、実像部分５１ｂの画像が劣化することになるが、実像部分５１ｂに相当する画素は、入力された元の撮像画像５の画素値に置き換えられるため、問題にはならない。
【００５６】
更にまた、本実施形態１に係る画像処理方法は、カラーの撮像画像５、モノクロの撮像画像５のいずれにも適用することができ、イメージガイドファイバ束１７に起因する偽像部分５１ａを除去することができる。
なお、本実施形態１では、イメージガイドファイバ束１７に起因する偽像部分５１ａが黒点状である例を説明したが、本発明によれば、黒点状の偽像部分５１ａのみならず、形状及び明るさ等が異なる他の態様の偽像部分を除去することもできる。
【００５７】
（実施形態２）
図８は実施形態２に係る内視鏡システムの一構成例を示すブロック図である。実施形態２に係る内視鏡システムは、画像処理部３２ａをプロセッサ３側に設けた点が実施形態１と異なるため、以下では主にかかる相違点について説明する。その他の構成及び作用効果は実施形態１と同様であるため、対応する箇所には同様の符号を付して詳細な説明を省略する。
【００５８】
実施形態２に係るプロセッサ３は、画像処理部３２ａを備える。画像処理部３２ａは例えば信号処理部３２の機能部として備えると良い。信号処理部３２は、撮像装置２から取得した撮像画像データに対して、イメージガイドファイバ束１７に起因する偽像部分５１ａを除去する処理を実行し、偽像部分５１ａが除去された撮像画像５に係る映像信号を外部モニタ４へ出力する。偽像部分５１ａを除去する処理手順は実施形態１と同様である。
【００５９】
実施形態２に係るプロセッサ３、画像処理方法、コンピュータプログラム２７によれば、実施形態１と同様、画質を劣化させること無く、撮像画像５からイメージガイドファイバ束１７に起因する偽像部分５１ａを除去することができる。その他、実施形態１と同様の効果を奏する。
【００６０】
今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００６１】
１  ファイバスコープ
２  撮像装置
３  プロセッサ
４  外部モニタ
５  撮像画像
５０  暗部画像
５１  被写体画像
５１ａ  偽像部分
５１ｂ  実像部分
６  マスク画像
７  補間処理画像
８  偽像除去画像
１１  挿入管
１１ａ  先端部
１２  手元操作部
１３  ライトガイド部
１３ａ  光コネクタ部
１４  ライトガイドファイバ束
１５  照明光学系
１６  対物光学系
１７  イメージガイドファイバ束
１８  接眼部
１８ａ  接眼光学系
２１  接続部
２２  撮像部
２２ａ  撮像素子
２２ｂ  アナログフロントエンド
２３  ケーブル
２４  基端部
２４ａ  コネクタ部
２５  駆動制御部
２６  画像処理部
２６ａ  演算部
２６ｂ  一時記憶部
２６ｃ  記憶部
２６ｄ  入力部
２６ｅ  出力部
２７  コンピュータプログラム
３１  システムコントローラ
３２  信号処理部
３３  光源装置
３３ａ  光源
３３ｂ  集光レンズ
３３ｃ  ランプ電源
３３ｄ  絞り
３３ｅ  モータ
３３ｆ  モータ駆動部
【図１】
2019118527.tif 000003
【図２】
2019118527.tif 000004
【図３】
2019118527.tif 000005
【図４】
2019118527.tif 000006
【図５】
2019118527.tif 000007
【図６】
2019118527.tif 000008
【図７】
2019118527.tif 000009
【図８】
2019118527.tif 000010