(57)【要約】【課題】ハンチングとハレーションの発生を極力抑制する。【解決手段】内視鏡装置は、挿入部、ハンチング検出部、ハレーション検出部および撮像制御部を備える。挿入部は、先端に撮像部を備える。ハンチング検出部は、撮像部からの画像の輝度に基づいてハンチング状態を検出する。ハレーション検出部は、画像のハレーション状態を検出する。撮像制御部は、ハンチング状態およびハレーション状態に基づいて輝度を制御する。実施形態として、内視鏡装置の制御方法としても実施可能である。【選択図】図２
2018007880.tif 000002
【特許請求の範囲】
【請求項１】
先端に撮像部を備える挿入部と、
前記撮像部からの画像の輝度に基づいてハンチング状態を検出するハンチング検出部と、
前記画像のハレーション状態を検出するハレーション検出部と、
前記ハンチング状態および前記ハレーション状態に基づいて前記輝度を制御する撮像制御部と、
を備える内視鏡装置。
【請求項２】
前記ハンチング検出部は、前記輝度の変動の周期性に基づいて前記ハンチング状態を検出する請求項１に記載の内視鏡装置。
【請求項３】
前記ハレーション検出部は、前記画像の一部の領域であるブロックごとの輝度に基づいて前記ハレーション状態を検出する請求項１または請求項２に記載の内視鏡装置。
【請求項４】
前記撮像制御部は、ハンチングの検出時において、前記輝度の制御速度を、ハンチングの非検出時における前記制御速度よりも低くする請求項１から請求項３のいずれか一項に記載の内視鏡装置。
【請求項５】
前記撮像制御部は、ハンチングを検出している間にハレーションを検出した場合、ハンチングのみを検出している場合と比較して前記輝度の制御速度を高くする請求項１から４のいずれか一項に記載の内視鏡装置。
【請求項６】
前記撮像制御部は、前記輝度の変動周期が所定の変動周期の範囲内であるとき前記制御を停止する請求項４または請求項５に記載の内視鏡装置。
【請求項７】
前記先端の加速度を検出する加速度検出部を備え、
前記撮像制御部は、前記加速度に基づいて前記輝度を制御する請求項１から請求項６のいずれか一項に記載の内視鏡装置。
【請求項８】
前記撮像制御部は、前記先端が動作中と判定されるとき、前記輝度の制御速度を、ハンチングまたはハレーションの非検出時における前記制御速度よりも低くする請求項７に記載の内視鏡装置。
【請求項９】
内視鏡装置の制御方法であって、
挿入部の先端に備えられた撮像部からの画像の輝度に基づいてハンチング状態を検出するハンチング検出過程、
前記画像のハレーション状態を検出するハレーション検出過程と、
前記ハンチング状態および前記ハレーション状態に基づいて前記輝度を制御する撮像制御過程と、
を有する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、内視鏡装置および制御方法に関する。
【背景技術】
【０００２】
従来から、細長の挿入部を備える内視鏡装置が医療分野において利用されている。挿入部には、先端に照明と撮像部が設置され、処置具チャンネルが挿通されることがある。撮像部が体腔内に挿入されることで、例えば、内臓器などの被検体の観察に用いられる。処置具チャンネルには、各種の処置具が挿通され各種の治療処置に用いられる。また、工業分野においても、内視鏡装置は、ボイラ、タービン、エンジン、化学プラント、その他の構造物の内部における損傷、腐食等の観察、検査等のために用いられる。このような内視鏡装置は、一般に観察等の対象物が様々である。そのため、観察条件に応じて画面の明るさを制御する自動露光（Ａｕｔｏｍａｔｉｃ  Ｅｘｐｏｓｕｒｅ）制御機構が搭載されている内視鏡装置がある。
【０００３】
ＡＥ制御は、撮像される画像の明るさと目標の明るさとの差分をフィードバックして、明るさの制御パラメータを定めるフィードバック制御を含む。制御パラメータには、例えば、シャッター速度がある。シャッター速度は、露光時間の逆数に相当する。制御パラメータには、さらにゲインが含まれることがある。ゲインは、画素ごとの信号レベルに乗算される増幅率である。撮像時にＡＥ制御が行われると、制御パラメータが収束せずにハンチングが発生することがある。ハンチングとは、明るさの発振現象を意味する。ハンチングが発生すると、撮影された画像の明るさが適切な明るさに定まらないので観察に支障を生じることがある。かかる状況を防止する内視鏡装置として、特許文献１には、ハンチングを検出するときＡＥ制御を停止する電子内視鏡装置について開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−３２５７２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、ＡＥ制御を完全に停止してしまうと、ハレーションがより頻繁に発生する傾向がある。ハレーションとは、画素ごとに検出された輝度が信号値として表現可能な所定の最大値を超えるために、信号値がその最大値に制限される現象である。ハレーションは、白飛びとも呼ばれる。ハレーションが発生すると、ユーザが被検体を観察できず所望の作業を行うことができなくなる。特に、画像の観察中に航空機のエンジンなど光の反射率が高い金属の被検体の内部に挿入される場合に、ハレーションが頻繁に発生する。
【０００６】
本発明は、上記の課題に基づいてなされたものであり、ハンチングとハレーションの発生を極力抑制することができる内視鏡装置および制御方法を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、先端に撮像部を備える挿入部と、前記撮像部からの画像の輝度に基づいてハンチング状態を検出するハンチング検出部と、前記画像のハレーション状態を検出するハレーション検出部と、前記ハンチング状態および前記ハレーション状態に基づいて前記輝度を制御する撮像制御部と、を備える内視鏡装置である。
【発明の効果】
【０００８】
本発明によれば、ハンチングとハレーションの発生を極力抑制することができる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態に係る内視鏡装置の構成例を示すブロック図である。
【図２】本実施形態に係るハンチングの検出法の一例を示す図である。
【図３】本実施形態に係るハレーションの検出法の一例を示す図である。
【図４】本実施形態に係る露光時間の制御例を示す図である。
【図５】本実施形態に係るＡＥ制御の一例を示す図である。
【図６】本実施形態に係るＡＥ制御の他の例を示す図である。
【発明を実施するための形態】
【００１０】
次に、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係る内視鏡装置１の構成例を示すブロック図である。
本実施形態に係る内視鏡装置１は、挿入部１０と、本体部１１とを含んで構成される。挿入部１０は、被検体の内部に挿入され、少なくとも被検体の内部の画像を取得する。被検体の種類は、特に限定されない。被検体は、例えば、エンジン、タービン、ボイラ、などの産業用機器であってもよいし、生体であってもよい。挿入部１０は、屈曲可能であり細長い管状の形状を有する。挿入部１０の長さは、例えば、１〜３０ｍである。
【００１１】
挿入部１０は、その先端部において、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ；電荷結合素子）撮像素子１０４、対物レンズ１０５、ＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ、発光ダイオード）１０６、サーミスタ１０７、加速度センサ１０８、ワイヤー固定部１０９、ワイヤー連結部１２４および着脱コネクタ１３４を備える。挿入部１０の長手方向には、４本の湾曲用ワイヤー１２６が挿通されている。
【００１２】
ＣＣＤ撮像素子１０４は、被検体からの光を光電変換する。ＣＣＤ撮像素子１０４の撮像面には、画素ごとに受光素子が配列され、各受光素子は到来した光の強度に応じた電圧を生じる。ＣＣＤ撮像素子１０４は、本体部１１から入力される駆動信号が指示するタイミングに基づいて、光電変換により得られる電圧値から画素ごとの信号値を示す撮像信号を生成する。ＣＣＤ撮像素子１０４は、生成した撮像信号を本体部１１に出力する。
【００１３】
対物レンズ１０５は、挿入部１０の先端部に入射する光を収束し、被検体の像をＣＣＤ撮像素子の撮像面に結像する。対物レンズ１０５は、当該先端部の受光窓（図示せず）に対向して配置される。
【００１４】
ＬＥＤ１０６は、本体部１１から供給される駆動電力に基づいて光を発光する光源である。ＬＥＤ１０６は、発光した光を被検体に照射する。
【００１５】
サーミスタ１０７は、挿入部１０の先端部における温度を検出する温度センサである。サーミスタ１０７は、検出した温度を示すサーミスタ信号を生成し、生成したサーミスタ信号を本体部１１に出力する。
【００１６】
加速度センサ１０８は、挿入部１０の先端部における加速度を検出する。加速度センサ１０８は、例えば、３軸加速度センサである。３軸加速度センサは、３次元空間における互いに直交する３方向のそれぞれの加速度を検出する。加速度センサ１０８は、検出した加速度を示す加速度信号を本体部１１に出力する。
【００１７】
ワイヤー固定部１０９は、挿入部１０の先端部に設置されている。ワイヤー固定部１０９には、４本の湾曲用ワイヤー１２６の先端が、挿入部１０の長手方向に直交する２軸方向に交互に傾動可能に接続されている。２軸のそれぞれの方向は、相互に直交する。２軸の方向には、ＵＤ（Ｕｐ−Ｄｏｗｎ）方向とＲＬ（Ｒｉｇｈｔ−Ｌｅｆｔ）方向がある。ＵＤ方向、ＲＬ方向は、撮像面に配列された画素の垂直方向、水平方向に相当する。ＵＤ、ＲＬ方向の湾曲に係る各２本の湾曲用ワイヤーを、それぞれＵＤ、ＲＬワイヤーと呼ぶ。
【００１８】
ワイヤー連結部１２４は、挿入部１０の基端部に設置されている。ワイヤー連結部１２４は、本体部１１が備えるワイヤー連結部１２５との連結時において、ワイヤー連結部１２５による牽引に応じて、各湾曲用ワイヤー１２６を挿入部１０の長手方向に牽引する。
【００１９】
着脱コネクタ１３４は、挿入部１０の基端部に設置されている。着脱コネクタ１３４は、本体部１１が備える着脱コネクタ１３５と着脱可能な機構を備える。着脱コネクタ１３４は、例えば、着脱コネクタ１３５と相互に嵌合する形状を有する。
【００２０】
なお、挿入部１０には、撮像制御信号、撮像信号、駆動電力、サーミスタ信号および加速度信号のそれぞれを伝送する接続ケーブルが挿通されている。これらの接続ケーブルは、着脱コネクタ１３４が本体部１１の着脱コネクタ１３５に装着されているときに、それぞれの送信元ならびに送信先の構成要素と電気的に接続される。これらの接続ケーブルは、例えば、複合同軸線である。着脱コネクタ１３４、１３５は、各接続ケーブルの基端と電気的に接続する接点を備える。
【００２１】
本体部１１は、挿入部１０の基端部と当接されうる端部にワイヤー連結部１２５と着脱コネクタ１３５を備える。本体部１１は、システム制御部１１０、ユーザインタフェース部１１１、記憶媒体１１２、パラメータ記憶部１１３、タイミングジェネレータ１１４、ＣＣＤドライブ回路１１５、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ、液晶ディスプレイ）１１８、ＬＥＤ駆動回路１１９、湾曲制御部１２１、ＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３、プリアンプ１３６、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）１３７および画像処理部１４０を含んで構成される。
【００２２】
システム制御部１１０は、内視鏡装置１の全体の動作制御を行う構成要素である。システム制御部１１０には、ユーザインタフェース部１１１、記憶媒体１１２、パラメータ記憶部１１３、ＣＣＤドライブ回路１１５、ＬＣＤ１１８、ＬＥＤ駆動回路１１９、湾曲制御部１２１、着脱コネクタ１３５の接点および画像処理部１４０と接続されている。システム制御部１１０は、ユーザインタフェース部１１１から入力された操作信号、パラメータ記憶部１１３に記憶された各種のパラメータなどに基づいて、内視鏡装置１の各構成要素の動作を制御する。システム制御部１１０は、例えば、ＬＥＤ１０６の点灯／消灯制御、ＣＣＤ撮像素子１０４の撮像動作制御、湾曲制御部１２１の湾曲制御、温度検出制御、などがある。温度検出制御において、システム制御部１１０は、サーミスタ１０７から入力されるサーミスタ信号が示す現在の温度を示す情報をＬＣＤ１１８にＬＣＤコントローラ１１０ｂを介して表示させる。また、システム制御部１１０は、パラメータ記憶部１１３に予め記憶した許容温度の上限または下限に基づいて、現在の温度が、その上限または下限から所定範囲内である場合、上限よりも高い場合または下限よりも低い場合、ＬＣＤ１１８に所定の警告メッセージを表示させる。システム制御部１１０は、画像記録部１１０ａとＬＣＤコントローラ１１０ｂを含んで構成される。
【００２３】
画像記録部１１０ａは、ユーザインタフェース部１１１から入力された制御信号に基づいて、画像処理部１４０から入力される画像信号を記憶媒体１１２に記憶する。例えば、画像記録部１１０ａは、制御信号で指示される記録開始時から記録終了時までの画像信号を記憶媒体１１２に記憶する。
【００２４】
ＬＣＤコントローラ１１０ｂは、ユーザインタフェース部１１１から入力された制御信号に基づいて、画像処理部１４０から画像記録部１１０ａを介して入力される画像信号をＬＣＤ１１８に出力する。これにより、ＬＣＤ１１８は、画像処理部１４０が取得した各種の動画像、静止画像を表示することができる。静止画像を表示させる場合、ＬＣＤコントローラ１１０ｂは、その時点で取得されるフレームの画像信号を継続してＬＣＤ１１８に出力する。画像記録部１１０ａは、静止画像として取得される画像信号を記憶媒体１１２に記録してもよい。ＬＣＤコントローラ１１０ｂは、その他、各種の表示情報を示す画像信号をＬＣＤ１１８に出力する。表示情報には、例えば、操作入力等に必要な情報の案内画面などがある。
【００２５】
ユーザインタフェース部１１１は、操作部を含んで構成される。操作部は、ユーザによる操作入力を受け付ける。操作部は、例えば、ジョイスティック、操作スイッチ、操作ボタンなどの部材である。ユーザインタフェース部１１１は、受け付けた操作入力に応じた制御信号を生成し、生成した制御信号をシステム制御部１１０に出力する。
【００２６】
記憶媒体１１２は、画像信号を記憶する記憶媒体である。記憶媒体１１２には、例えば、画像処理部１４０により得られる動画像、静止画像などの画像を示す画像信号が記憶される。
【００２７】
パラメータ記憶部１１３は、ユーザインタフェース部１１１への操作入力、画像処理部１４０が実行する各種の画像処理に用いる画像処理パラメータ、湾曲制御部１２１による湾曲制御に関する湾曲制御パラメータなど、ユーザの操作により変更される各種のパラメータを記憶する。また、パラメータ記憶部１１３には、非撮像信号の伝送路長とＣＣＤドライブ回路１１５のドライブ処理のパラメータとの関係などが記憶されている。
【００２８】
タイミングジェネレータ１１４は、システム制御部１１０から入力された撮像制御信号に基づいてＣＣＤ撮像素子を駆動するタイミング信号を生成する。撮像制御信号には、画像処理部１４０から通知された露光時間などの情報が含まれる。露光時間は、各画素における露光開始から露光終了までの時間であり、シャッター速度の逆数に相当する。従って、露光時間が長いほど１回の読取で得られる信号レベルが高くなる。露光時間は、撮像される画像の明るさを制御するための制御パラメータとして用いられる。ここで、露光時間が長いほど輝度が高くなり、露光時間が短いほど輝度が低くなる。タイミングジェネレータ１１４は、生成したタイミング信号をＣＣＤドライブ回路１１５に出力する。
【００２９】
ＣＣＤドライブ回路１１５は、タイミングジェネレータ１１４から入力されたタイミング信号と、システム制御部１１０からの制御信号に基づいて駆動信号を生成する。システム制御部１１０からの制御信号は、撮像動作制御を示す信号である。撮像動作制御として撮像開始、撮像停止、ズーム、輝度調整などが指示される。ＣＣＤドライブ回路１１５は、生成した駆動信号をＣＣＤ撮像素子１０４に出力する。駆動信号により、フレームレート、各フレームにおいて信号レベルを取得する画素の順序、画素ごとの露光開始ならびに露光終了が指示される。
【００３０】
ＬＣＤ１１８は、システム制御部１１０から入力される画像信号に基づく画像を表示する画像表示部である。
【００３１】
ＬＥＤ駆動回路１１９は、システム制御部１１０から入力される制御信号に基づいてＬＥＤ１０６の点灯／消灯制御を行う。ＬＥＤ駆動回路１１９は、点灯が指示されるときＬＥＤ１０６への駆動電力の供給を開始し、消灯が指示されるとき駆動電力の供給を停止する。
【００３２】
湾曲制御部１２１は、システム制御部１１０から入力される制御信号に基づいてＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３の一方または両方を駆動する。制御信号は、例えば、ユーザインタフェース部１１１が検出した２方向の操作量のそれぞれに対応する湾曲方向ごとの湾曲量を示す。湾曲方向は、上述したＵＤ方向、ＲＬ方向に相当する。湾曲制御部１２１は、制御信号が示すＵＤ方向の湾曲量に対応する駆動量、ＲＬ方向の湾曲量に対応する駆動量をＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３に指示する。
【００３３】
ＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３は、それぞれの回転により湾曲制御部１２１が指示した駆動量でＵＤワイヤー、ＲＬワイヤーをそれぞれ牽引する。
ワイヤー連結部１２５は、着脱コネクタ１３５が挿入部１０の着脱コネクタ１３４に装着された状態であるとき、挿入部１０のワイヤー連結部１２４に連結されたＵＤワイヤー、ＲＬワイヤーを連結する。ＵＤワイヤー、ＲＬワイヤーは、ＵＤ湾曲モータ１２２、ＲＬ湾曲モータ１２３によって牽引される。これにより、ユーザの操作に応じて挿入部１０の先端部が湾曲する。
【００３４】
着脱コネクタ１３５は、挿入部１０の基端部に当接にされる位置に設置されている。着脱コネクタ１３５は、挿入部１０の着脱コネクタ１３４と着脱可能な機構を備える。着脱コネクタ１３５は、例えば、着脱コネクタ１３４と相互に嵌合する形状を有する。
【００３５】
プリアンプ１３６は、ＣＣＤ撮像素子１０４から入力される撮像信号を増幅し、増幅した撮像信号をＡＦＥ１３７に出力する。この増幅は、伝送により減衰した信号レベルを補うために行われる。
【００３６】
ＡＦＥ１３７は、プリアンプから入力されたアナログの撮像信号に対して、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ、相関二重サンプリング）処理、ＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ、自動利得制御）処理およびＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ、アナログ／ディジタル）変換処理を行ってディジタルの撮像信号を生成する。ＡＦＥ１３７は、生成したディジタルの撮像信号を画像処理部１４０に出力する。
【００３７】
画像処理部１４０は、黒補正部１４２、画素補間・輝度色差変換部１４３、補正処理部１４４、ハンチング検出部１４５、ハレーション検出部１４６および撮像制御部１４７を含んで構成される。
【００３８】
黒補正部１４２は、入力された撮像信号が示す画素ごとの信号レベルから黒レベルを差し引いて補正後の信号レベルを算出する。黒補正部１４２は、黒レベルとして、例えば、ＬＥＤ１０６の消灯期間中における信号レベル、各フレームまたは所定の期間内における信号レベルの画素間の最低値などを用いてもよい。黒補正部１４２は、画素ごとの補正後の信号レベルを示す撮像信号を画素補間・輝度色差変換部１４３に出力する。
【００３９】
画素補間・輝度色差変換部１４３は、黒補正部１４２から入力された撮像信号について画素補間処理を行う。入力される撮像信号は、画素ごとに赤（Ｒ）、緑（Ｇ）、青（Ｂ）のいずれかの色成分の信号レベルを有する。赤、緑、青に係る画素は、画素が２次元空間内で周期的に配列されている。この配列は、例えば、べイヤー配列である。以下、各１周期の色成分に係る画素の組を画素周期と呼ぶ。画素補間処理において、画素補間・輝度色差変換部１４３は、対象画素ごとに当該対象画素から所定範囲内に配置され、当該対象画素と同一の色成分に係る画素ごとの信号レベルを補間して当該対象画素の信号レベルを算出する。対象画素とは、その時点における処理対象の画素である。フレーム内の各画素が対象画素として扱われる。補間において、例えば、バイリニア補間、バイキュービック補間などの手法を用いることができる。
【００４０】
画素補間・輝度色差変換部１４３は、補間により得られる色成分ごとの各画素の信号レベルについて色空間変換を行って、画素周期ごとの輝度レベル（Ｙ）と２つの色差レベル（Ｃｒ）、（Ｃｂ）を算出する。つまり、画素補間・輝度色差変換部１４３は、色空間変換において、ＲＧＢ表色系で表されたＲＧＢ値をＹＣｒＣｂ表色系で表されたＹＣｒＣｂ値に変換する。色空間変換において、例えば、ＩＴＵ−Ｒ  ＢＴ．６０１に規定の変換式を用いることができる。色差レベル（Ｃｒ）、（Ｃｂ）は、それぞれ赤系統、青系統の色の色相と彩度を示す。画素補間・輝度色差変換部１４３は、画素周期ごとの輝度レベルを示す輝度信号を補正処理部１４４、ハンチング検出部１４５、ハレーション検出部１４６および撮像制御部１４７に出力する。画素補間・輝度色差変換部１４３は、画素周期ごとの２つの色差レベル（Ｃｒ）、（Ｃｂ）を示す色差信号を補正処理部１４４に出力する。
【００４１】
補正処理部１４４は、画素補間・輝度色差変換部１４３から入力された輝度信号、２つの色差信号のそれぞれについて各種の補正処理を行う。補正処理には、例えば、収差補正、ノイズ軽減処理などが含まれる。補正処理部１４４は、補正処理により得られた輝度信号、２つの色差信号のそれぞれについて、色空間変換を行って補正後の画素ごとの信号レベルを示す画像信号を生成する。つまり、補正処理部１４４は、色空間変換において、ＹＣｒＣｂ表色系で表されたＹＣｒＣｂ値をＲＧＢ表色系で表されたＲＧＢ値に変換する。この色空間変換処理は、画素補間・輝度色差変換部１４３における色空間変換の逆変換に相当する。補正処理部１４４は、生成した画像信号をシステム制御部１１０に出力する。
【００４２】
ハンチング検出部１４５は、画素補間・輝度色差変換部１４３から入力された輝度信号に基づいてハンチング状態を検出する。ハンチング検出部１４５は、輝度信号に基づいて輝度の変動を解析して、ハンチング状態としてハンチングの検出の有無と、発生した場合におけるハンチング強度とを示すハンチング状態情報を生成し、生成したハンチング状態情報を撮像制御部１４７に出力する。ハンチングならびにハンチング強度の検出例については、後述する。
【００４３】
ハレーション検出部１４６は、画素補間・輝度色差変換部１４３から入力された輝度信号に基づいてハレーション状態を検出する。ここで、ハレーション検出部１４６は、輝度信号に基づいてフレーム内の一部の領域であるブロックごとに輝度に基づいて、ハレーションの発生の有無を判定する。ハレーション検出部１４６は、ハレーション状態として、ハレーションの検出の有無と、検出された場合におけるハレーション強度を示すハレーション状態情報を生成する。ハレーション検出部１４６は、ハレーション状態情報を撮像制御部１４７に出力する。
【００４４】
撮像制御部１４７には、画素補間・輝度色差変換部１４３から輝度信号が、ハンチング検出部１４５からハンチング状態情報が、ハレーション検出部１４６からハレーション検出情報が、それぞれ入力される。撮像制御部１４７は、ハンチング状態情報およびハレーション検出情報に基づいて入力される輝度信号が示す輝度レベルを制御する。輝度レベルの制御において、撮像制御部１４７は、例えば、ＡＥ制御を行う。
【００４５】
ＡＥ制御では、ハンチングならびにハレーションが検出されていないとき、撮像制御部１４７は、制御量として代表輝度から目標量として所定の目標輝度の差である輝度差の絶対値が小さくなるように露光時間を定める。撮像制御部１４７は、代表輝度として、例えば、その時点（現在）までの所定期間（例えば、１〜３秒）内における輝度レベルの平均値を算出する。所定の目標輝度として、例えば、予めパラメータ記憶部１１３に記憶された目標輝度が用いられてもよいし、ユーザの操作入力により指示された目標輝度が用いられてもよい。撮像制御部１４７は、定めた露光時間をタイミングジェネレータ１１４に通知する。これにより、定めた露光時間がＣＣＤ撮像素子１０４による画像の撮像に用いられる。他方、撮像制御部１４７は、ハンチングの検出時において、ハンチングが検出されていないときよりも露光時間の制御速度を低くする。また、撮像制御部１４７は、ハンチングを検出している間にハレーションを検出した場合は、ハンチングのみ、つまり、ハンチングを検出している間にハレーションを検出していない場合における露光時間の制御速度に比べて露光時間の制御速度を高くする。露光時間に基づくＡＥ制御の例については、後述する。
【００４６】
（ハンチングの検出例）
次に、本実施形態に係るハンチングとハンチング強度の検出例について説明する。
ハンチング検出部１４５は、例えば、各フレームの輝度信号が示す輝度レベルの画素周期間の平均値または積算値（総和）について、その時点（現在）までの所定の期間ごとにフーリエ変換を行い、周波数ごとの強度を算出する。所定の期間は、例えば、１〜３秒である。図２に示すように、強度が所定の強度の閾値Ｉｔｈ以上となる周波数ｆｒが存在するとき、ハンチング検出部１４５は、ハンチングを検出したと判定する。この判定条件は、輝度の主成分の変動が周波数ｆｒの周期性を有することを示す。そして、ハンチング検出部１４５は、この強度をハンチング強度として定める。ハンチング強度は、撮像された画像の輝度の変動の周期性の度合を示す指標である。強度が所定の強度の閾値Ｉｔｈ以上となる周波数ｆｒが存在しないとき、ハンチング検出部１４５は、ハンチングを検出していないと判定する。ハンチング強度の閾値は、例えば、所定の期間内の周波数間のパワーの総和の０．３〜０．６倍である。なお、以下の説明では、ハンチングの検出に係る周波数ｆｒをハンチング周波数と呼ぶことがある。
【００４７】
（ハレーションの検出例）
次に、本実施形態に係るハレーションとハレーション強度の検出例について説明する。ハレーション検出部１４６は、例えば、輝度信号が示す画素周期ごとの輝度レベルについて、ブロックＢｋごとの輝度レベルの積算値を算出する。ブロックＢｋは、各フレームの画像Ｉｍの一部の領域であって、複数の画素周期を含む。ブロックＢｋの大きさは、例えば、水平方向、垂直方向の画素数が、９×９〜２４×２４である。ブロックＢｋにおいてハレーションを検出したと判定する。ハレーション検出部１４６は、算出した積算値が所定の積算値の閾値を超えないブロックＢｋにおいてハレーションを検出していないと判定する。所定の積算値の閾値は、例えば、１ブロック内に含まれる画素周期に輝度値の上限を乗じて得られる値の０．６〜０．９倍である。輝度値の上限とは、所定のビット数のもとで表現可能な輝度値の最大値を意味する。画素周期ごとの輝度値が１０ビットで表される場合には、輝度値の上限は、１０２３（＝２１０−１）である。図３において破線の矢印で示すように、ハレーション検出部１４６は、ハレーションの検出対象とするブロックＢｋを所定の順序（例えば、ラスタースキャン順）で逐次変更し、各フレームの全体にわたりハレーションの検出の有無を判定する。ハレーション検出部１４６は、フレームごとにハレーションを検出した領域の大きさをハレーション強度として定める。この大きさは、例えば、ハレーションを検出したブロックの数、それらのブロック内の画素単位数などで表される。
【００４８】
（ＡＥ制御の例）
次に、ＡＥ制御について、制御パラメータとして露光時間を用いる場合を例にして説明する。露光時間を定める際、撮像制御部１４７は、例えば、比例制御（Ｐｒｏｐｏｒｔｉｏｎａｌ  Ｃｏｎｔｒｏｌ、Ｐ制御）を行う。Ｐ制御では、撮像制御部１４７には、制御量と目標量の差分である輝度差に所定の比例ゲインを乗じて露光時間の変化量をフレームごとに算出する。比例ゲインは、制御速度の制御パラメータである。比例ゲインが大きいほど制御速度が高く、比例ゲインが小さいほど制御速度が低い。撮像制御部１４７は、もとの露光時間に算出した変化量を加算してその露光時間を更新する。なお、以下の説明では、ハンチングならびにハレーションが検出されていないときに用いられる比例ゲインを、基準ゲインと呼ぶ。
【００４９】
撮像制御部１４７は、ハンチングの検出時において、ハンチングならびにハレーションが検出されていないときよりも露光時間の制御速度を低くする。また、撮像制御部１４７は、ハンチングを検出している間にハレーションを検出した場合は、ハンチングのみ、つまりハンチングを検出している間にハレーションを検出しない場合における露光時間の制御速度に比べて露光時間の制御速度を高くする。そこで、撮像制御部１４７は、ハンチングの検出時またはハレーションの検出時における比例ゲインとして基準ゲインよりも小さい一定値を用いる。その比例ゲインは、例えば、基準ゲインの０〜０．５倍である。
【００５０】
また、撮像制御部１４７は、ハンチング強度が高いほど比例ゲインを小さくしてもよい。この場合には、ハンチング強度が高いほど露光時間の制御速度が低くなる。撮像制御部１４７は、ハレーション強度が高いほど比例ゲインを小さくしてもよい。この場合には、ハレーション強度が高いほど露光時間の制御速度が低くなる。ハレーション強度が所定のハレーション強度の閾値よりも高いとき、またはハンチング強度が所定のハンチング強度の閾値よりも高いとき、撮像制御部１４７は、比例ゲインを０としてもよい。この場合には、露光時間が変化せず一定値となる。
【００５１】
より具体的には、撮像制御部１４７は、正規化したハンチング強度と正規化したハレーション強度を加算して評価値を算出する。撮像制御部１４７は、正規化において、ハンチング強度、ハレーション強度がそれぞれ取り得る上限値と下限値に基づいて、所定の値域内の値をとるようにハンチング強度、ハレーション強度をスケーリングする。図４は、評価値と比例ゲインの関係の例を示す図である。太い実線は、撮像制御部１４７がハンチングのみを検出している場合において算出した評価値を示す。一点破線は、撮像制御部１４７が、ハンチングを検出している間にハレーションを検出した場合において算出した評価値を示す。図４に示すように、ハンチングのみを検出している場合、ハンチングを検出している間にハレーションを検出した場合のいずれも、撮像制御部１４７は、算出した評価値が大きいほど、比例ゲインを小さくする。但し、ハレーションのみを検出している場合における評価値と、ハンチングを検出している間にハレーションを検出した場合における評価値が同程度の場合、撮像制御部１４７は、後者の比例ゲインを高くする。具体的には、図４に示すように、ハレーションのみを検出している場合における評価値とハンチングを検出している間にハレーションを検出した場合における評価値がいずれもＳｎと等しい場合、ハンチングのみを検出している場合に算出される比例ゲインＫ１、ハンチングとハレーションを検出している場合に算出される比例ゲインＫ２よりも小さい（Ｋ１＜Ｋ２）。評価値Ｓｎは、所定の第１閾値Ｓ１よりも小さく所定の第０閾値Ｓ０よりも大きい（Ｓ０＜Ｓｎ＜Ｓ１）。但し、ハレーションのみを検出している場合における評価値が第１閾値Ｓ１以上となる場合には、撮像制御部１４７は、比例ゲインを０と定める。同様に、ハンチングを検出している間にハレーションを検出した場合における評価値が所定の第２閾値Ｓ２以上となる場合には、撮像制御部１４７は、比例ゲインを０と定める。第２閾値Ｓ２は、第１閾値Ｓ１よりも大きい実数である（Ｓ２＞Ｓ１）。ハンチングを検出している場合における評価値、またはハンチングを検出している間にハレーションを検出した場合における評価値が、第０閾値Ｓ０よりも小さい場合には、撮像制御部１４７は、比例ゲインを基準ゲインＫ０と定める。評価値が第０閾値Ｓ０以下である場合は、ハンチングもハレーションも検出されていないことに相当するためである。つまり、評価値が第０閾値Ｓ０に等しいことは、ハンチング強度がハンチングの検出に用いたハンチング強度の閾値に等しいことを示す。
【００５２】
なお、撮像制御部１４７は、ハンチング強度とハレーション強度とを重み付け加算して評価値を算出し、この評価値を比例ゲインの決定に用いてもよい。具体的には、撮像制御部１４７は、正規化したハンチング強度と正規化したハレーション強度のそれぞれに、予め設定した互いに異なる重み係数を乗じて得られる乗算値の総和を評価値として算出する。これにより、撮像された画像の観察を妨げる原因として、ハンチングとハレーションを重視する度合いが設定される。
【００５３】
撮像制御部１４７は、ハンチング周波数が所定の範囲内の周波数である場合において、ＡＥ制御を停止してもよい。ＡＥ制御を停止する際、撮像制御部１４７は、比例ゲインを０と定める。所定の範囲内の周波数として、ユーザインタフェース部１１１から入力された制御信号が示すユーザ指定周波数が用いられてもよい。より具体的には、図５に示す手順に従って制御を行う。
【００５４】
図５は、本実施形態に係るＡＥ制御の一例を示すフローチャートである。
（ステップＳ１０１）システム制御部１１０は、ユーザインタフェース部１１１から入力された制御信号が示すユーザ指定周波数を撮像制御部１４７に設定する。その後、ステップＳ１０２の処理に進む。
（ステップＳ１０２）撮像制御部１４７は、システム制御部１１０からの制御信号が撮像開始を示すときＡＥ制御を開始する。その後、ステップＳ１０３の処理に進む。
【００５５】
（ステップＳ１０３）ハンチング検出部１４５は、各フレームの輝度信号に基づいてハンチングを検出したか否かを判定する。検出したと判定するとき（ステップＳ１０３  ＹＥＳ）、ステップＳ１０４の処理に進む。検出していないと判定するとき（ステップＳ１０３  ＮＯ）、ステップＳ１０６の処理に進む。
（ステップＳ１０４）撮像制御部１４７は、ハンチング周波数が、設定されたユーザ指定周波数の範囲内であるか否かを判定する。ユーザ指定周波数の範囲内であると判定するとき（ステップＳ１０４  ＹＥＳ）、ステップＳ１０５の処理に進む。ユーザ指定周波数の範囲外であると判定するとき（ステップＳ１０４  ＮＯ）、ステップＳ１０６の処理に進む。
【００５６】
（ステップＳ１０５）撮像制御部１４７は、ＡＥ制御を停止する。具体的には、撮像制御部は、比例ゲインを０と定める。その後、ステップＳ１０３の処理に進む。
（ステップＳ１０６）撮像制御部１４７は、ＡＥ制御を通常に行う。具体的には、撮像制御部は、基準ゲインＫ０を比例ゲインとして定める。その後、ステップＳ１０３の処理に進む。システム制御部１１０から撮像停止を示す制御信号が入力されるまで、ステップＳ１０３〜Ｓ１０６に示す処理を繰り返す。
【００５７】
これにより、被検体がその特有の条件により輝度が周期的に変動する場合でも、その変動によるハンチングを抑止することができる。例えば、航空機エンジンの検査において、ターニングツールを用いて主軸から放射状に配置されたタービンブレードを一定の回転速度で主軸を中心に回転させることがある。このとき、撮像されるタービンブレードの画像の輝度が回転に伴って一定の周波数で変動する。また、その輝度の変動自体が検査の対象になることがある。このような変動の周波数の範囲をユーザ指定周波数として予め設定しておき、その範囲内の周波数での輝度の変動についてＡＥ制御を停止することで、検査の妨げとなるハンチングが抑止される。そのような周波数として、例えば、蛍光灯などの光源の輝度の変動の周波数などにも適用される。
【００５８】
撮像制御部１４７は、さらにシステム制御部１１０を介して加速度センサ１０８から入力された加速度信号に基づいてＡＥ制御を行ってもよい。この加速度信号は、挿入部１０の先端における動きの加速度を示す。例えば、ハンチングが検出されているとき、撮像制御部１４７は、加速度信号に基づいて挿入部１０の先端部が静止しているか否かを判定する。撮像制御部１４７は、先端部の動作状態として静止しているか否かを、例えば、加速度信号が示す加速度の絶対値が所定の加速度の閾値以下であるか否かにより判定することができる。撮像制御部１４７は、先端部が動作していると判定するとき、ＡＥ制御を完全に停止せずに制御速度を通常の制御速度よりも低くする。ここで、撮像制御部１４７は、比例ゲインを０より大きく基準ゲインＫ０よりも小さい所定の値に定める。このような場合は、内視鏡を被検体の内部への挿入作業の途中に生じうるが、画像の観察が要求されるとともに一時的であるためである。撮像制御部１４７は、先端部が動作していないと判定するとき、制御速度をハンチングならびにハレーションが検出されていないときと同様の通常の制御速度にする。より具体的には、図６に示す手順に従って制御を行う。
【００５９】
図６は、本実施形態に係るＡＥ制御の他の例を示すフローチャートである。図６に示す処理は、ステップＳ１１１〜Ｓ１１８の処理を有する。ステップＳ１１１〜Ｓ１１６の処理は、図５に示すステップＳ１０１〜Ｓ１０６の処理と同様であるため、その説明を省略する。図６に示すステップＳ１１７の処理は、ステップＳ１１３においてハンチング検出部１４５がハンチングを検出したと判定した後で開始される。
【００６０】
（ステップＳ１１７）撮像制御部１４７は、加速度信号に基づき挿入部１０の先端部が静止しているか否かを判定する。静止していると判定するとき（ステップＳ１１７  ＹＥＳ）、ステップＳ１１４の処理に進む。静止していない、つまり動作中と判定するとき（ステップＳ１１７  ＮＯ）、ステップＳ１１８の処理に進む。
（ステップＳ１１８）撮像制御部１４７は、制御速度を通常の制御速度よりも低くする（低速制御）。撮像制御部１４７は、比例ゲインを０より大きく基準ゲインＫ０よりも小さい所定の値に定める。その後、ステップＳ１１３の処理に進む。
【００６１】
なお、撮像制御部１４７は、図６のステップＳ１１８の処理において加速度信号が示す加速度の絶対値が大きいほど、小さくなるように比例ゲインを定めてもよい。但し、定められる比例ゲインの値域は、０以上であって基準ゲインＫ０以下である。
【００６２】
また、図５、図６の処理において、ハンチング周波数がユーザ指定周波数の範囲外であると判定された後（ステップＳ１０４、Ｓ１１４  ＮＯ）、撮像制御部１４７は、上述したようにハンチング強度とハレーション強度に基づいて評価値を算出してもよい。その後、ステップＳ１０６、Ｓ１１６において、撮像制御部１４７は、図３を用いて説明したように算出した評価値に基づいて制御速度を定めてもよい。
【００６３】
なお、上述した実施形態では、画像の明るさ制御として主に露光時間を制御する場合を例にしたが、これには限られない。例えば、露光時間と併せてフレームレートが制御パラメータとして制御されてもよい。動画像では露光時間の上限は、画素ごとのサンプリング周期となるので、露光時間がサンプリング周期と等しい場合において、さらに露光時間を長くするときにはサンプリング周期も長くする必要があるためである。また、露光時間に代えて、または露光時間と併せて、ＡＧＣにおけるゲインが制御パラメータとして制御されてもよい。
なお、上述した実施形態では、主にＰ制御を例にしたが、制御量と目標量の差分の大きさを小さくするように露光時間などの制御変数を算出する手法であれば、いかなる手法を用いてもよい。例えば、ＰＩ（Ｐｒｏｐｏｒｔｉｏｎａｌ−Ｉｎｔｅｇｒａｌ  Ｃｏｎｔｒｏｌ）制御、ＰＩＤ（Ｐｒｏｐｏｒｔｉｏｎａｌ−Ｉｎｔｅｇｒａｌ−Ｄｉｆｆｅｒｅｎｔｉａｌ  Ｃｏｎｔｒｏｌ）制御が用いられてもよい。
【００６４】
以上に説明したように、本実施形態に係る内視鏡装置１は、先端部にＣＣＤ撮像素子１０４を備える挿入部１０を備える。また、内視鏡装置１は、ＣＣＤ撮像素子１０４からの画像の輝度に基づいてハンチング状態を検出するハンチング検出部１４５と、画像のハレーション状態を検出するハレーション検出部１４６を備える。また、内視鏡装置１は、ハンチング状態およびハレーション状態に基づいて輝度を制御する撮像制御部１４７を備える。
この構成により、撮像された輝度に基づいて検出したハンチング状態とハレーション状態に基づいて輝度が制御される。そのため、ハンチングとハレーションの発生が極力抑制される。
【００６５】
また、ハンチング検出部１４５は、輝度の変動の周期性に基づいてハンチング状態を検出する。
この構成により、撮像された画像の輝度の周期性に基づいてハンチング状態が検出される。被検体の画像本来の輝度の変動と混在された輝度の変動からハンチング状態を判別することができるので、的確に判別されたハンチング状態に基づいて輝度が制御される。
【００６６】
また、ハレーション検出部１４６は、画像の一部の領域であるブロックごとの輝度に基づいてハレーション状態を検出する。
この構成により、画像の一部の領域ごとの輝度に基づいてハレーション状態が検出される。そのため、ハレーション状態の分布に基づいて輝度が制御される。
【００６７】
また、撮像制御部１４７は、ハンチングの検出時において、輝度の制御速度を、ハンチングの非検出時における制御速度よりも低くする。また、撮像制御部１４７は、ハンチングを検出している間にハレーションを検出した場合は、ハンチングのみを検出している場合に比べて露光時間の制御速度を高くする。  この構成により、ハンチングの検出時において、輝度の制御速度が低下する。そのため、ハンチングの検出時において、制御によりハンチングの解消が図られるとともに、過剰な制御を抑制することができる。また、撮像制御部１４７は、ハンチングを検出している間にハレーションを検出した場合は、ハンチングのみを検出している場合に比べて露光時間の制御速度を高くすることによって、ハレーションが発生する頻度を抑えることができる。
【００６８】
また、撮像制御部１４７は、輝度の変動周期が所定の変動周期の範囲内であるとき制御を停止する。
この構成により、被検体に固有の輝度の変動周期を撮像制御部１４７に設定することで、輝度の変動周期が設定された変動周期の範囲内になるとき制御が停止される。そのため、被検体の特性に応じて輝度が変動するとき、その変動に応じた無用な制御が行われないので、ハンチングの発生が回避される。
【００６９】
内視鏡装置１は、先端の加速度を検出する加速度センサ１０８を備え、撮像制御部１４７は、加速度に基づいて輝度を制御する。
この構成により、被検体に挿入部１０の先端部が挿入されるとき、その動きに伴う加速度に応じて撮像される画像の輝度が制御される。そのため、動きに伴って撮像される被検体の部位の変化によって変動する画像の輝度が、動きの状態に応じて制御される。
【００７０】
撮像制御部１４７は、先端部が動作中と判定されるとき、輝度の制御速度を、ハンチングまたはハレーションの非検出時における制御速度よりも低くする。
この構成により、被検体に挿入部１０の先端部が挿入中であるときに、画像の輝度の制御速度が低くなる。そのため、挿入による画像の輝度の変動による影響を抑制することで、過剰な制御が行われないのでハンチングが抑制される。
【００７１】
なお、上述した実施形態に係る内視鏡装置１の一部、例えば、システム制御部１１０および画像処理部１４０をＣＰＵ、メモリ、入出力インタフェース、コンピュータ読み取り可能な記録媒体などからなるコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをこの記録媒体に記録しておき、記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、内視鏡装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００７２】
また、上述した実施形態に係る内視鏡装置１の一部、または全部は、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。内視鏡装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【００７３】
例えば、撮像素子としてＣＣＤ撮像素子に代えて、ＣＭＯＳ撮像素子などの他の種類の撮像素子が用いられてもよい。ＬＥＤ１０６は、本体部１１に備えられてもよい。その場合には、ＬＥＤ１０６からの光を対物レンズ１０５に伝達し、挿入部１０の先端部から出射させるライトガイドが挿入部１０に備えられてもよい。また、システム制御部１１０からの画像信号を受信し、受信した画像信号に基づく画像を表示することができれば、ＬＣＤ１１８は、本体部１１において省略されてもよい。
【００７４】
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態及びその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
【符号の説明】
【００７５】
１…内視鏡装置、１０…挿入部、１１…本体部、１０４…ＣＣＤ撮像素子、１０５…対物レンズ、１０６…ＬＥＤ、１０７…サーミスタ、１０８…加速度センサ、１０９…ワイヤー固定部、１１０…システム制御部、１１０ａ…画像記録部、１１０ｂ…ＬＣＤコントローラ、１１１…ユーザインタフェース部、１１２…記憶媒体、１１３…パラメータ記憶部、１１４…タイミングジェネレータ、１１５…ＣＣＤドライブ回路、１１８…ＬＣＤ、１１９…ＬＥＤ駆動回路、１２１…湾曲制御部、１２２…ＵＤ湾曲モータ、１２３…ＲＬ湾曲モータ、１２４、１２５…ワイヤー連結部、１２６…湾曲用ワイヤー、１３４、１３５…着脱コネクタ、１３６…プリアンプ、１３７…ＡＦＥ、１４０…画像処理部、１４２…黒補正部、１４３…画素補間・輝度色差変換部、１４４…補正処理部、１４５…ハンチング検出部、１４６…ハレーション検出部、１４７…撮像制御部
【図１】
2018007880.tif 000003
【図２】
2018007880.tif 000004
【図３】
2018007880.tif 000005
【図４】
2018007880.tif 000006
【図５】
2018007880.tif 000007
【図６】
2018007880.tif 000008