(57)【要約】【課題】  汎用性の高い検査を行うことができる内視鏡画像再生装置を提供すること。【解決手段】  被検査対象物の関心領域に基づいて設定されたテンプレートを記憶するための記憶部と、複数のフレームで構成される前記被検査対象物の検査動画をモニタに再生するための画像信号処理部と、前記検査動画中から前記関心領域と一致する箇所を特定する演算部と、前記検査動画を再生する際に、前記フレームを表示すると共に、前記演算部で特定された箇所を、前記フレームに対して強調する表示制御部と、を備えたことを特徴とする内視鏡画像再生装置。【選択図】図３
2012123054.tif 000002
【特許請求の範囲】
【請求項１】
被検査対象物の関心領域に基づいて設定されたテンプレートを記憶するための記憶部と、
複数のフレームで構成される前記被検査対象物の検査動画をモニタに再生するための画像信号処理部と、
前記検査動画中から前記関心領域と一致する箇所を特定する演算部と、
前記検査動画を再生する際に、前記フレームを表示すると共に、前記演算部で特定された箇所を、前記フレームに対して強調する表示制御部と、を備えたことを特徴とする内視鏡画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検査対象物の関心領域を自動的に検出することができる内視鏡画像再生装置に関するものである。
【背景技術】
【０００２】
従来より、工業製品における内視鏡装置の利用分野として、航空機用エンジンやボイラ、プラント等の配管の内部等を被検査対象物（被写体）とする非破壊検査が知られている。
【０００３】
このような被検査対象物の検査は、内視鏡装置の挿入部を被検査対象物近傍まで挿入することで入手した画像データを画面表示し、検査者が目視で傷等の異常部分を識別するものであった。
【０００４】
例えば、航空機用エンジン内に多数配列されているタービンブレードや、燃焼室内に無数に形成された冷却空気孔のような規則正しい形状の部位と言った被検査対象物を検査しようとした場合、高い集中力を必要とする検査作業が長時間続くこととより検査者の負担を大きくする。
【０００５】
このため、異常部分のような関心領域を自動的に検出することが望まれている。
【０００６】
このような自動化の従来技術としては、特開２００５−５５７５６号公報（特許文献１参照）のように、タービンブレードの欠陥を画像処理で判別し、判別した欠陥情報をリアルタイム画像に重畳表示するものがある。
【０００７】
この判別方法は、被検査対象物の画像において、欠陥があることを判別するものだった。
【特許文献１】特開２００５−５５７５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載された従来技術では、画像中に欠陥があるか否かのみ判別することができる。
【０００９】
しかしながら、検査者が欠陥以外を見たい場合、その要求を満足させることはできなかった。
【００１０】
そこで、本発明は、汎用性の高い検査を行うことができる内視鏡画像再生装置の提供を目的としている。
【課題を解決するための手段】
【００１１】
本発明の内視鏡画像再生装置は、被検査対象物の関心領域に基づいて設定されたテンプレートを記憶するための記憶部と、複数のフレームで構成される前記被検査対象物の検査動画をモニタに再生するための画像信号処理部と、前記検査動画中から前記関心領域と一致する箇所を特定する演算部と、前記検査動画を再生する際に、前記フレームを表示すると共に、前記演算部で特定された箇所を、前記フレームに対して強調する表示制御部と、を備えたことを特徴とする。
【発明の効果】
【００１２】
本発明の内視鏡画像再生装置によれば、汎用性の高い検査を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態の内視鏡装置を用いてジェットエンジンの検査を実施している様子を示す全体構成図である。
【図２】本発明の一実施形態の内視鏡装置を示す図で、（ａ）は内視鏡装置の全体構成図、（ｂ）は挿入部先端に設けられた湾曲部の動作説明図である。
【図３】本発明の一実施形態の内視鏡装置の強調表示部の構成を示すブロック図である。
【図４】本発明の一実施形態の内視鏡装置におけるテンプレートの設定に係るフローチャートである。
【図５】本発明の一実施形態の内視鏡装置における強調表示に係るフローチャートである。
【図６】本発明の一実施形態の内視鏡装置において、モニタ上に表示される動画像を示す図である。
【図７】本発明の一実施形態の内視鏡装置において、モニタ上に表示される動画像を強調表示した図である。
【図８】本発明の一実施形態の内視鏡装置において、モニタ上に表示される動画像を強調表示した図（変形例）である。
【図９】本発明の一実施形態の内視鏡装置において、モニタ上に表示される動画像を強調表示した図（変形例）である。
【発明を実施するための形態】
【００１４】
以下では、本発明に係る内視鏡画像再生装置として、内視鏡装置を例に最良の実施形態を図面に基づいて説明する。
【００１５】
図１及び図２に示す工業用の内視鏡装置１は、ケーシング内に各種装置を内蔵した電子内視鏡本体１０と、細長い挿入部２０と、画像表示用のモニタ３０と、手元操作用のリモートコントローラ（以下、「リモコン」と呼ぶ）４０とを具備して構成される。
【００１６】
なお、以下の実施形態では、ジェットエンジン６０のタービンブレードを被検査対象物とする非破壊検査に適用する内視鏡装置１を例示して説明する。
【００１７】
電子内視鏡本体１０のケーシング内には、制御用コンピュータ１１、画像信号処理部１２、等の各種制御機器類が備えられている。
【００１８】
画像信号処理部１２は、固体撮像素子２３から取り込んだ複数のフレームで構成される被検査対象物の検査動画を適宜処理した後、モニタ３０に画像信号を送出する機能を有する。
【００１９】
挿入部２０は、被検査対象物内に挿入される先端から順に、対物レンズ２２と、撮像手段である固体撮像素子２３、例えばＣＣＤ（charge-coupled device）と、被検査対象物を照明する照明手段２４、例えばＬＥＤ（light-emitting diode）と、を有する先端部２１、先端部２１の基端に接続され、先端部２１を上下方向あるいは左右方向へ撮像方向を変更するための湾曲部２７、湾曲部２７以降に接続され、電子内視鏡本体１０に接続される可撓管２０ａ、から構成される。
【００２０】
固体撮像素子２３は、挿入部２０内に通した信号線２５を介して画像信号処理部１２に接続されている。
【００２１】
この湾曲部２７は、検査者がリモコン４０を操作することにより、挿入部２０内に通した図示しないワイヤ等が動作して先端部２１を所定の角度範囲内で湾曲させることができる。
【００２２】
制御用コンピュータ１１は、信号線４１を介してリモコン４０と接続されている。
【００２３】
この制御用コンピュータ１１では、リモコン４０から入力される操作信号により、電子内視鏡本体１０内で信号線を介して接続されている画像信号処理部１２、挿入部先端に設けた照明手段（ＬＥＤ）２４、湾曲部２７の駆動装置（図示省略）等について、そのＯＮ／ＯＦＦや各種の動作を制御する。
【００２４】
さらに、図３に示すように、制御用コンピュータ１１は、テンプレート情報設定部１０１、記憶部１０２、演算部１０３、表示制御部１０４から構成される強調表示部１１aを有する。
【００２５】
テンプレート情報設定部１０１は、画像信号処理部１２から入力された動画像のうち、検査者が注目する領域（以下、関心領域と称する。）に基づいてテンプレートを設定する。
【００２６】
記憶部１０２は、テンプレート情報設定部１０１が設定したテンプレートを記憶する。
【００２７】
演算部１０３は、記憶部１０２に記憶されたテンプレートと動画像である検査動画とを比較し、一致する箇所（座標）を特定する。
【００２８】
なお、演算部１０３による一致する箇所の特定精度は、関心領域の向き、幅、サイズと言った微小な相違点を補間できるよう、検査者によって回転角、幅数、倍率等を自由に設定することができる。
【００２９】
表示制御部１０４は、演算部１０３で比較して特定された箇所（座標）をフレームに対して強調する色をつけたＯＳＤ（on screen display）を、動画像の１フレームとは別個に作成し、モニタ３０上の画像信号処理部１２へ出力する。
【００３０】
画像信号処理部１２は、例えば、強調表示部１１ａからのＯＳＤを受け取り、そのＯＳＤを作成するのに用いた動画像の１フレームにＯＳＤを重畳してモニタ３０に表示させる強調表示機能を備えている。
【００３１】
また、この画像信号処理部１２は、外部の録画装置にアナログビデオ信号を出力できるようにするため、外部出力端子１５を備えている。
【００３２】
さらに、制御用コンピュータ１１は、外部のパーソナルコンピュータ（以下、外部ＰＣと称する）５０とＬＡＮ接続可能とするため、ＬＡＮインターフェース１４を備えている。
【００３３】
なお、強調表示部１１ａは、内視鏡装置１に設けられることに限定されることはなく、たとえば外部ＰＣ５０に設けてもよい。
【００３４】
この場合、電子内視鏡本体１０と外部ＰＣ５０との間は、同軸ケーブル３によって接続される。
【００３５】
同軸ケーブル３は、電子内視鏡本体のアナログビデオ出力（ライブ画像）を外部ＰＣ５０に入力するもので、その途中にはビデオキャプチャー装置５２が設けられている。
【００３６】
このような構成では、電子内視鏡本体１０から同軸ケーブル３及びビデオキャプチャー装置５２を介してライブ画像のアナログビデオ信号が外部ＰＣ５０に送られ、外部ＰＣ５０内の画像識別手段で画像処理して得られた検査結果は、外部ＰＣ５０のモニタ５１に表示されると共に、ローカルエリアネットワーク（ＬＡＮ）２により電子内視鏡本体１０に伝送されてモニタ３０にも表示される。
【００３７】
なお、被検査対象物であるジェットエンジン６０には、内視鏡装置１の挿入部２０を被検査対象物の近傍まで挿入するアクセスポート６５が設けられている。
【００３８】
以下に、内視鏡装置１を用いた被検査対象物の検査について説明する。
【００３９】
はじめに、検査者は、電子内視鏡本体１０を起動させ、ジェットエンジン６０のアクセスポート６５に挿入部２０を挿通する。検査者は、挿入部２０を挿通すると共に、リモコン４０で湾曲部２７の湾曲操作を行いながら、被検査対象物であるタービンブレード近傍まで挿入部２０を挿入する。このときモニタ３０には、被検査対象物の動画像が表示されている。
【００４０】
次に、本発明の強調表示機能を用いた場合の動作説明を、図４および図５のフローチャートを用いて説明する。
【００４１】
検査者は、リモコン４０を操作することによって、モニタ３０上に強調表示機能のメニュー画面を表示させる。
【００４２】
次いで、検査者が、メニュー画面内で強調表示機能を選択すると、強調表示機能が起動（開始）することができる。
【００４３】
モニタ３０に被検査対象物の動画像が表示されている状態において、図４におけるテンプレート設定フローは、後述する図５におけるステップＳ１〜ステップＳ６の任意のタイミングで割り込むこととする。
【００４４】
本実施形態のテンプレート設定フローでは、モニタ３０に表示される動画像（ライブ映像）をテンプレートとして設定する例で説明する。
【００４５】
テンプレート情報設定部１１は、画像信号処理部１２から入力され、モニタ３０に表示された動画像のうち、検査者の関心領域に基づいてテンプレートを記憶部１０２に設定・登録する（ステップＳ１１）。
【００４６】
記憶部１０２に登録されたテンプレートは、画像信号処理部１２によってモニタ３０の動画像（ライブ映像）が表示される主ウインドウの右上方に表示される（ステップＳ１２）。
【００４７】
次に、図５における強調表示のメインフローについて説明する。
【００４８】
画像信号処理部１２は被検査対象物の動画像の１フレームを取得し（ステップＳ１）、当該１フレームをモニタ３０に表示する（ステップＳ２）。
【００４９】
次に演算部１０３は、検査者によるテンプレートの選択状態を取得し（ステップＳ３）、ステップＳ３で取得された選択状態が「選択」であるか「未選択」であるかの判別を行う（ステップＳ４）。
【００５０】
ステップＳ４における判別結果が「未選択」であるとき（検査者がテンプレートを選択していないとき、又はテンプレートを設定していないとき）、処理はステップＳ１に戻り、画像信号処理部１２及び強調表示部１１ａは、動画像の次の１フレームに対する処理を継続して行う。
【００５１】
ステップＳ４における判別結果が「選択」であるとき、演算部１０３は、記憶部１０２が記憶しているテンプレートと画像信号処理部１２から入力される１フレーム（ステップＳ１にて取得されたフレーム）とを比較し、当該１フレームにおいてテンプレートと一致する箇所（座標）を特定する（ステップＳ５）。
【００５２】
表示制御部は、ステップＳ１にて取得されたフレームが表示されている（ステップＳ２）状態において、演算部で比較して特定された箇所（座標）をフレームに対して強調する色をつけたＯＳＤを、動画像の１フレームとは別個に作成し、画像信号処理部１２へ出力する。画像信号処理部１２は、強調表示部１１ａからのＯＳＤを受け取り、そのＯＳＤを作成するのに用いた動画像の１フレームにＯＳＤを重畳してモニタ３０に表示させる（ステップＳ６）。
【００５３】
ステップＳ６が終了すると処理はステップＳ１に戻り、画像信号処理部１２及び強調表示部１１ａは、動画像の次の１フレームに対する処理を継続して行う。
【００５４】
以降、テンプレートの選択の変更、又はテンプレートの設定の解除が行われない限り、画像信号処理部１２及び強調表示部１１ａによって、動画像の各フレームに対して選択・設定されたテンプレートに従った強調表示が繰り返される。
【００５５】
図６は、挿入部２０の固体撮像素子２３がタービンブレード６３を撮像して得られる動画像を示しており、ここでは複数のタービンブレード６３をモニタ３０上の動画像表示領域８０に表示している。
【００５６】
関心領域、ここでは“×”がテンプレート８０ａとして既にテンプレート情報設定部１０１で設定され、記憶部１０２に記憶されている。
【００５７】
なお、動画像表示領域８０に表示されている被検査対象物であるタービンブレード６３は、テンプレート８０ａの関心領域と同様のパターン“×”を有しているものとする。
【００５８】
検査者が、テンプレート８０ａ“×”を選択・設定すると、動画像表示領域８０に表示されているタービンブレード６３の動画像中でテンプレート８０ａの関心領域と同じパターン“×”が点線で囲むように強調表示される（図７参照）。
【００５９】
また、強調表示については、上述したような関心領域の一致する形状を強調する点線以外に、その関心領域自体を囲む枠や、文字を表示するなどであってもよい。
【００６０】
なお、動画像は、ライブ画像、記録された動画像を含む。
【００６１】
なお、上述したテンプレートは、動画中から検査者が設定・記録した関心領域に限られるものではなく、予め装置内に備えたサンプル画像や、抽象的な描画（パターン）を設定することもできる。
【００６２】
なお、上述した実施形態では、図示しないローター回転装置によりタービンブレードをゆっくり回して検査している際に、テンプレートの関心領域と同じパターンを検出した場合、ローター回転装置を自動停止させるようにしてもよい。
【００６３】
従って、動画像表示領域８０に表示された動画像上に設定した関心領域を強調表示することができ、検査者は関心領域を一目瞭然に識別できるようになる。
（変形例）
図８は、テンプレート８１が複数（“×”８１ａ、“○”８１ｂ、“Ｙ”８１ｃ）設定されている例で、その中からテンプレート“×”８１ａ、“○”８１ｂを同時に選択・設定した場合である。
【００６４】
テンプレート“×”８１ａ、“○”８１ｂを選択・設定すると、動画像表示領域８０に表示されているタービンブレード６３の動画像中でテンプレート８１の関心領域と同じパターン“×”８１ａ、“○”８１ｂが強調表示される。
【００６５】
なお、複数テンプレート８１を選択・設定する場合、異なる関心領域は夫々異なる強調表示をすることが好ましい。
【００６６】
また、テンプレート８１として設定される関心領域は、特定のパターンでなくともよく、例えば図９に示すように、“赤色”８１ａ’、“青色”８１ｂ’、“緑色”８１ｃ’と言った色であってもよい。
【００６７】
また、上述したモニタ３０の画面表示については、被検査対象物及びその背景物体等が画面に映し出されている色や明るさに応じて、強調表示する色等を適宜選択して変更できるようにするとよい。
【００６８】
このようにすれば、表示画面上で強調表示が見やすくなり、見落としや誤認を防止できて検査者の負担が軽減される。
【００６９】
また、関心領域を拡大して表示する拡大表示画面が自動的に表示されるようにしてもよい。
【符号の説明】
【００７０】
１ 内視鏡装置
１０ 電子内視鏡本体
１１ 制御用コンピュータ
１１ａ 強調表示部
１２ 画像信号処理部
１４ ＬＡＮインターフェース
１５ 外部出力端子
２０ 挿入部
２０ａ 可撓管
２１ 先端部
２２ 対物レンズ
２３ 固体撮像素子
２４ 照明手段
２５ 信号線
２７ 湾曲部
３０ モニタ
４０ リモートコントローラ（リモコン）
５０ パーソナルコンピュータ（ＰＣ）
５１ モニタ
５２ ビデオキャプチャー装置
６０ ジェットエンジン
６３ タービンブレード
６５ アクセスポート
８０ 動画像表示領域
８０ａ，８１ａ，８１ｂ，８１ｃ，８１ａ’，８１ｂ’，８１ｃ’ テンプレート
１０１ テンプレート情報設定部
１０２ 記憶部
１０３ 演算部
１０４ 表示制御部
【図１】
2012123054.tif 000003
【図２】
2012123054.tif 000004
【図３】
2012123054.tif 000005
【図４】
2012123054.tif 000006
【図５】
2012123054.tif 000007
【図６】
2012123054.tif 000008
【図７】
2012123054.tif 000009
【図８】
2012123054.tif 000010
【図９】
2012123054.tif 000011