(57)【特許請求の範囲】
【請求項１】
カメラを含む外部装置から出力された画像を取込む画像入力装置と、前記画像入力装置から出力された出力画像をこの出力画像より解像度の低い低解像度画像に変換する低解像度化装置と、前記出力画像を逐次保持するとともに画像間のずれ量を算出する画像間比較装置と、前記画像間比較装置からの出力に基づいて前記出力画像と前記低解像度化装置の低解像度画像のいずれかを選択する画像選択装置と、前記画像選択装置で選択された画像を記録する画像記録装置と、前記画像記録装置に記録された低解像度画像から解像度を低下させる前の画像に復元する画像復元装置と、前記復元装置により作成した復元画像を表示する表示装置と、を備えた構造物の検査画像処理装置において、
前記画像間比較装置は前記画像入力装置から出力された最新の出力画像と保持された出力画像との画像間のずれ量をブロックマッチング処理により求め、
前記画像選択装置は前記画像間比較装置で求めたずれ量が予め設定された距離しきい値以下の場合には低解像度画像を選択し、前記距離しきい値以上の場合には前記画像入力装置から出力された出力画像を選択し、
前記画像復元装置は複数の低解像度画像のそれぞれ画素座標が重なる画素の平均輝度を復元画像における当該画素座標の画素の輝度とすることにより復元画像を作成することを特徴とする構造物の検査画像処理装置。
【請求項２】
カメラを含む外部装置から出力された画像を取込む画像入力装置と、前記画像入力装置から出力された出力画像をこの出力画像より解像度の低い低解像度画像に変換する低解像度化装置と、前記出力画像を逐次保持するとともに画像間のずれ量を算出する画像間比較装置と、前記画像間比較装置からの出力に基づいて前記出力画像と前記低解像度化装置の低解像度画像のいずれかを選択する画像選択装置と、前記画像選択装置で選択された画像を記録する画像記録装置と、前記画像記録装置に記録された低解像度画像から解像度を低下させる前の画像に復元する画像復元装置と、前記復元装置により作成した復元画像を表示する表示装置と、を備えた構造物の検査画像処理装置において、
前記画像間比較装置は前記画像入力装置から出力された最新の出力画像と保持された出力画像との画像間のずれ量をブロックマッチング処理により求めるとともに、前記ずれ量の信頼度を前記ブロックマッチング処理の類似度に基づいて算出し、
前記画像選択装置は前記画像間比較装置で求めたずれ量が予め設定された距離しきい値以下でかつ予め設定された信頼度しきい値以上の場合には低解像度画像を選択し、前記距離しきい値以上又は信頼度しきい値以下の場合には前記画像入力装置の出力画像を選択し、
前記画像復元装置は複数の低解像度画像のそれぞれ画素座標が重なる画素の平均輝度を復元画像における当該画素座標の画素の輝度とすることにより復元画像を作製することを特徴とする構造物の検査画像処理装置。
【請求項３】
前記画像復元装置は、前記復元画像の一つの画素を中央とする中央範囲と周辺範囲のそれぞれの平均輝度から前記画素の輝度を補正するコントラスト改善処理を行うことを特徴とする請求項１又は２記載の構造物の検査画像処理装置。
【請求項４】
前記復元画像と前記出力画像について、同一箇所が写像された領域の輝度を比較し、当該比較結果が所定のしきい値以下の場合、前記コントラスト改善処理を再度繰り返すことを特徴とする請求項３記載の構造物の検査画像処理装置。
【請求項５】
請求項１乃至４いずれかに記載の検査画像処理装置を用いた構造物の検査画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、構造物の検査画像処理装置及び処理方法に係り、特に、目視検査に用いられる構造物の検査画像処理装置及び処理方法に関する。
【背景技術】
【０００２】
原子力発電プラントでは、プラント構造物及び各種機器の安全性および信頼性の維持を図るために、各種機器を定期的に検査している。その中で炉内構造物の検査は、水中カメラ、もしくは水密ケースに収納したＴＶカメラにより検査対象を撮影し、現場のモニタに表示したカメラの映像を熟練検査員が目視で確認するといった間接目視で行われている。また、カメラの映像をビデオテープなどに記録しておき、欠陥などがある場合には、再度ビデオテープの映像を確認しながら検査記録を作成している（特許文献１、２）。
【０００３】
近年では、一般のＴＶカメラの解像度に比べて高解像度のカメラが市販され始めており、検査員からは、微細な欠陥を見やすくするために、このような解像度の高いカメラを使用したいとの要望がある。
【特許文献１】特開２０００−３４６９７６号公報
【特許文献２】特開２００３−１８５７８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
高解像度のカメラを使用すれば微細な欠陥を目視で確認しやすくなる反面、それに伴う映像のデータ量が膨大となる。このため映像を圧縮する必要があるが、現在普及しているＭＰＥＧ２に代表されるような圧縮方法は非可逆圧縮であり、特に、周波数特性の中で高周波成分の情報を除いているため、復元した画像では急激な明るさの変化を十分に表現できない。
【０００５】
例えば、欠陥等のエッジ付近では明るさの変化が激しいため、画像がその変化を表現できず、欠陥を看過してしまう可能性がある。このように、欠陥を目視しやすくするために高解像度なカメラを使用したにも関わらず、そのデータを記録するためにデータ圧縮を必要とするため欠陥が目視しにくくなるという問題が発生する。
【０００６】
本発明は、上記の問題を解決するためになされたもので、検査に使用するカメラの映像を効率的に処理・記録する構造物の検査画像処理装置及び処理方法を提供することを目的としたものである。
【課題を解決するための手段】
【０００７】
本発明に係る構造物の検査画像処理装置は、カメラを含む外部装置から出力された画像を取込む画像入力装置と、前記画像入力装置から出力された出力画像をこの出力画像より解像度の低い低解像度画像に変換する低解像度化装置と、前記出力画像を逐次保持するとともに画像間のずれ量を算出する画像間比較装置と、前記画像間比較装置からの出力に基づいて前記出力画像と前記低解像度化装置の低解像度画像のいずれかを選択する画像選択装置と、前記画像選択装置で選択された画像を記録する画像記録装置と、前記画像記録装置に記録された低解像度画像から解像度を低下させる前の画像に復元する画像復元装置と、前記復元装置により作成した復元画像を表示する表示装置と、を備えた構造物の検査画像処理装置において、前記画像間比較装置は前記画像入力装置から出力された最新の出力画像と保持された出力画像との画像間のずれ量をブロックマッチング処理により求め、前記画像選択装置は前記画像間比較装置で求めたずれ量が予め設定された距離しきい値以下の場合には低解像度画像を選択し、前記距離しきい値以上の場合には前記画像入力装置から出力された出力画像を選択し、前記画像復元装置は複数の低解像度画像のそれぞれ画素座標が重なる画素の平均輝度を復元画像における当該画素座標の画素の輝度とすることにより復元画像を作成することを特徴とする。
【０００８】
また、本発明に係る構造物の検査画像処理装置は、カメラを含む外部装置から出力された画像を取込む画像入力装置と、前記画像入力装置から出力された出力画像をこの出力画像より解像度の低い低解像度画像に変換する低解像度化装置と、前記出力画像を逐次保持するとともに画像間のずれ量を算出する画像間比較装置と、前記画像間比較装置からの出力に基づいて前記出力画像と前記低解像度化装置の低解像度画像のいずれかを選択する画像選択装置と、前記画像選択装置で選択された画像を記録する画像記録装置と、前記画像記録装置に記録された低解像度画像から解像度を低下させる前の画像に復元する画像復元装置と、前記復元装置により作成した復元画像を表示する表示装置と、を備えた構造物の検査画像処理装置において、前記画像間比較装置は前記画像入力装置から出力された最新の出力画像と保持された出力画像との画像間のずれ量をブロックマッチング処理により求めるとともに、前記ずれ量の信頼度を前記ブロックマッチング処理の類似度に基づいて算出し、前記画像選択装置は前記画像間比較装置で求めたずれ量が予め設定された距離しきい値以下でかつ予め設定された信頼度しきい値以上の場合には低解像度画像を選択し、前記距離しきい値以上又は信頼度しきい値以下の場合には前記画像入力装置の出力画像を選択し、前記画像復元装置は複数の低解像度画像のそれぞれ画素座標が重なる画素の平均輝度を復元画像における当該画素座標の画素の輝度とすることにより復元画像を作製することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、外部装置から入力された画像を分解能を低下させた低分解能画像として記録することによりデータ量を大幅に削減できる。また、低分解能画像と共に記録した等解像度の画像を利用して、低分解能画像からの画像復元を制御することにより高品質な画像復元が可能となり、検査に使用する映像を効率的に記録し高品質な映像を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明に係る実施の形態について、図面を参照して説明する。  
図１は、本発明の実施の形態に係る検査画像処理装置の構成を示すブロック図である。
図１に示すように、本実施の形態に係る検査画像処理装置は、検査対象を撮影したカメラ（図示せず）の映像をデジタル画像に変換し検査画像処理装置に取り込む画像入力装置１０１と、画像入力装置１０１から出力された出力画像をこの出力画像より解像度の低い低解像度画像に変換する低解像度化装置１０２と、画像入力装置１０１から出力される出力画像を逐次比較し画像間のずれ量を計算する画像間比較装置１０３と、画像間比較装置１０３の計算結果を基に、入力された画像入力装置１０１の出力画像（以後、通常画像と記述）と低解像度化装置１０２の低解像度画像のどちらかを選択し出力する画像選択装置１０４と、画像選択装置１０４で選択された画像を記録する画像記録装置１０５と、画像記録装置１０５に記録された低分解能画像を通常画像相当の解像度に復元する画像復元装置１０６と、画像復元装置１０６により作成した復元画像と画像記録装置１０５に記録された通常画像を比較し復元画像の復元度により画像復元装置１０６を制御する画像復元制御装置１０７と、画像復元装置１０６により作成した復元画像を表示する表示装置１０８からなる。
【００１１】
次に上記構成を有する検査画像処理装置の動作について説明する。  
図示していない検査対象を撮影したカメラの映像は画像入力装置１０１に入力され、デジタル画像に変換された後に、画像間比較装置１０３、画像選択装置１０４及び低解像度化装置１０２に送られる。
【００１２】
画像間比較装置１０３は、画像入力装置１０１から送られてきた画像を逐次保持しておき、画像処理を用いて画像間のずれ量を算出する。例えば、ブロックマッチング処理による画像処理により画像間のずれ量を計測する。
【００１３】
図２は、ブロックマッチング処理の説明図である。ブロックマッチング処理では、以前に保持していた通常画像と、画像入力装置から送られてきた最新の通常画像の２枚の３００ａと３００ｂの画像において、３００ａの各画素のずれ量を３００ｂの画像から求める処理である。
【００１４】
具体的な処理方法は、３００ａのずれ量を求める画素３０１を中心とした矩形ブロック３０２を設定し、矩形ブロック３０２内の輝度の分散を求めることである。矩形ブロック３０２内の輝度の分散が所定のしきい値以上である場合には、３００ｂの画像に対してブロック走査３０３を行い、輝度の差を用いた方法や輝度の相関を用いた方法などにより、最も矩形ブロック３０２に類似した位置を求める。本処理で最も矩形ブロック３０２に類似していると判断した位置が、画素３０１の３００ｂにおけるずれ量となる。ブロックマッチング処理２００は、この処理を３００ａの全画素に対して実行する。
【００１５】
また、矩形ブロック３０２内の輝度の分散が所定のしきい値未満の画素については処理が実行されないために、３００ｂに対するずれ量が求まらない。このように実行されない画素については、実行された周辺の画素の結果から３００ｂに対するずれ量を推定する。
【００１６】
推定方法の例として、ずれ量を推定する画素を囲む、処理が実行された最低３画素を検索する。次に、画像の横方向をＸ軸、縦方向をＹ軸とし、前記３画素のＸＹ軸位置とＸ軸およびＹ軸に対する各ずれ量をＺ軸とした２つの３次元空間に値をプロットする。
【００１７】
この３次元空間において、この３点を結ぶ平面を計算で求め、推定する画素の点がこの平面上にあると仮定し、推定する画素のＸＹ軸の位置からＺ軸の値を計算する。この計算で求めたＺ軸の値がずれ量となる。この例では、３点を用いた平面を仮定したが、３点以上を利用して計算できる多次元の面でもよい。
【００１８】
以上で説明したようにブロックマッチング処理の例では、輝度の分散の高い矩形ブロック３０２にのみ処理を実行する。輝度の分散が高いということは画像のテクスチャが特徴的であり、マッチング処理に適しているということである。逆に輝度の分散が低いということは、画像のテクスチャが一様であり特徴的でないためにマッチング処理を実行した結果の信頼性が低い可能性がある。
【００１９】
このように矩形ブロックについてマッチング処理の実行の是非を判断することで信頼性の高いずれ量計測が可能となる。また、輝度の分散以外に画像のテクスチャの特徴性を評価できる情報を用いて判断してもよい。
【００２０】
低解像度化装置１０２は、画像入力装置１０１から送られてきた通常画像を解像度の低い低解像度画像に変換する。例えば、一定間隔で画素を間引くダウンサンプリング法などを用いる。
【００２１】
画像選択装置１０４は、出力する画像として解像度の異なる画像入力装置１０１の通常画像と低解像度化装置１０２の低解像度画像のどちらかを選択し、画像記録装置１０５に記録する画像を選定する。
【００２２】
画像選択装置１０４における第１の画像選択方法では、画像間比較装置１０３で計測した画像間のずれ量を選択情報として使用する。画像選択装置１０４には、任意に設定した距離しきい値を予め設けておく。画像選択装置１０４は、画像間比較装置１０３で計測した各画像間のずれ量を累積することにより各画像における絶対ずれ量を計測し、この絶対ずれ量が距離しきい値以下の場合には低解像度画像を選択する。  
また、絶対ずれ量が距離しきい値以上の場合には、画像入力装置１０１の通常画像を選択し、絶対ずれ量をゼロ“０”にリセットする。
【００２３】
画像選択装置１０４では、逐次入力される各画像に対して本処理を実行することにより、画像記録装置１０５に記録する画像を選択出力する。つまり、画像記録装置１０５に記録されている画像は、逐次記録された低解像度画像の間に、絶対ずれ量が一定間隔になった場合の通常画像が記録される。
【００２４】
画像選択装置１０４における第２の画像選択方法は、第１の画像選択方法に加えて、画像間比較装置１０３から画像間のずれ量と共に計算結果の信頼度を出力し、この信頼度を選択情報として使用する。計算結果の信頼度とは、例えば画像間比較装置１０３で画素ごとに実行されたブロックマッチング処理の類似度の平均値などである。  
第２の選択方法では、類似度が高い場合には計算結果の信頼度が高く、逆に類似度が低い場合には計算結果の信頼度が低いといった特徴を利用する。
【００２５】
画像選択装置１０４には、任意に設定した信頼度しきい値を予め設けておく。画像選択装置１０４は、画像間比較装置１０３で計測した各画像間のずれ量を累積することにより各画像における絶対ずれ量を計測し、この絶対ずれ量が距離しきい値以下の場合で且つ、計測結果の信頼度が信頼度しきい値以上の場合に低解像度画像を選択する。
【００２６】
また、絶対ずれ量が距離しきい値以上、もしくは、計算結果の信頼度が信頼度しきい値以下の場合には、画像入力装置１０１の通常画像を選択し、絶対ずれ量をゼロ“０”にリセットする。
【００２７】
画像選択装置１０４では、逐次入力される各画像に対して本処理を実行することにより、画像記録装置１０５に記録する画像を選択出力する。つまり、画像記録装置１０５に記録されている画像は、逐次記録された低解像度画像の間に、絶対ずれ量が一定以上、もしくは、計算結果の信頼度が低い場合に通常画像が記録される。
【００２８】
画像選択装置１０４で選択され、画像記録装置１０５に記録された通常画像と低解像度画像のデータ例を図３に示す。  
画像復元装置１０６は、画像記録装置１０５に記録された低解像度画像から低解像度化装置１０２により解像度を低下させる前の解像度に画像復元した復元画像を作成する。
【００２９】
図４に復元画像の作成方法の一例を示す。  
４００ａと４００ｂは、画像記録装置１０５に記録している低解像度画像を示している。また、４０２は復元画像で、この例では画素分解能を４００ａと４００ｂの低解像度画像に対して２倍に復元している。
【００３０】
画像４００ａの画素４０１ａが復元画像４０２の１Ａ、２Ａ、１Ｂ、２Ｂの座標の画素だとすると、低解像度画像４００ｂの画素４０１ｂは、画像間比較装置１０３で計測した画像間のずれ量から低解像度画像４００ａからの相対位置が計算され、復元画像４０２における座標が計算される。この例では、２Ｂ、３Ｂ、２Ｃ、３Ｃとする。次に復元画像４０２の輝度を計算する。
【００３１】
図４の例において、復元画像４０２の座標２Ｂは、低解像度画像４００ａの画素４０１ａと低解像度画像４００ｂの画素４０１ｂが重なった座標であり、復元画像４０２の座標２Ｂの輝度は、画素４０１ａと画素４０１ｂの輝度から推定される。例えば平均輝度などが用いられる。
【００３２】
本例では、復元画像の作成方法を２枚の低解像度画像で説明したが、画像復元装置１０６では、画像記録装置１０５に記録された複数の低解像度画像を用いて復元画像が作成される。また、本例の処理で作成した復元画像４０２は、平均輝度で作成しているためにコントラストの悪い画像が想定される。よって、画像復元装置では、次にコントラストを上げるコントラスト改善処理を実行する。
【００３３】
図５にコントラスト改善処理の説明図を示す。  
図５は、画素５００のコントラストを上げる処理を例としたもので、コントラスト改善処理では画素５００を中央とする中央範囲５０１と周辺範囲５０２を設定する。また、周辺範囲５０２は、中央範囲５０１よりも広い範囲でなければならない。
【００３４】
図５では、中央範囲５０１が３×３、周辺範囲が５×５で図示してある。中央範囲５０１、周辺範囲５０２の各々の平均輝度を求め、中央範囲５０１の平均輝度から周辺範囲５０２の平均輝度を差し引く。この差し引いた輝度がプラスの場合には、中央範囲５０１が周辺範囲５０２よりも明るく、逆にマイナスの場合には中央範囲５０１が周辺範囲５０２よりも暗いことになる。
【００３５】
コントラスト改善処理では、この差し引いた値を画素５００の輝度に加算することで、中央範囲５０１が周辺範囲５０２よりも明るい場合には、画素５００を更に明るく、中央範囲５０１が周辺範囲５０２よりも暗い場合には、画素５００を更に暗くし、画素５００のコントラストを改善する。
【００３６】
画像復元制御装置１０７は、画像記録装置１０５に記録された通常画像と画像復元装置１０７で作成した復元画像を比較し、画像復元装置１０６を制御する。画像記録装置１０５に記録された通常画像は、低解像度化装置１０２により解像度を低下させていない画像であり、低解像度画像から画像復元装置１０６で復元した復元画像と等しい分解能の画像である。
【００３７】
また、画像選択装置１０４で通常画像を選択する条件として、通常画像間が物理的な連結性を持つように距離しきい値を設定することにより、通常画像と復元画像とで同一箇所が写像された領域が存在することとなる。具体的には、復元画像の復元のために使用した低解像度画像の前後に記録された通常画像と復元画像間においてである。
【００３８】
したがって、通常画像と復元画像とで同一箇所が写像された領域の輝度を比較することにより、画像復元装置１０６で復元した復元画像の復元度を評価することができる。画像復元装置１０７は、通常画像と復元画像とで同一箇所が写像された領域を比較評価し、評価値が一定のしきい値以下の場合にはコントラスト改善処理を再度繰り返すように画像復元装置１０６に指示する。画像の比較評価は、輝度の差を用いる方法や、輝度の相関を評価する方法などを利用する。図３に、通常画像と低解像度画像から作成した復元画像の比較関係を示す。
【００３９】
このように、画像記録装置１０５に記録された通常画像と、画像記録装置１０５に記録された低解像度画像から作成した復元画像を比較し、画像復元制御装置１０７により画像復元装置１０６を制御することで、復元画像の復元度を高品質に維持することが可能となる。  
最後に表示装置１０８により、画像復元装置１０６で復元した復元画像を表示する。
【００４０】
この実施の形態によれば、外部装置から入力された画像を分解能を低下させた低分解能画像として記録することによりデータ量を大幅に削減できる。また、低分解能画像と共に記録した等解像度の画像を利用して、低分解能画像からの画像復元を制御することにより高品質な画像復元が可能となり、検査に使用する映像を効率的に記録し高品質な映像を提供することができる。
【図面の簡単な説明】
【００４１】
【図１】本発明の実施の形態に係る検査画像処理装置の構成図。
【図２】本発明の実施の形態に係る画像間比較装置のブロックマッチング処理の説明図。
【図３】本発明の実施の形態に係る記録画像の説明図。
【図４】本発明の実施の形態に係る復元画像の作成方法の説明図。
【図５】本発明の実施の形態に係るコントラスト改善方法の説明図。
【符号の説明】
【００４２】
１０１…画像入力装置、１０２…低解像度化装置、１０３…画像間比較装置、１０４…画像選択装置、１０５…画像記録装置、１０６…画像復元装置、１０７…画像復元制御装置、１０８…表示装置、３０１…画素、３０２…矩形ブロック、３０３…ブロック走査、３１０ａ，３１０ｂ…通常画像、３１１ａ〜３１１ｄ…低解像度画像、４００ａ…画像、４００ｂ…低解像度画像、４０１ａ，４０１ｂ…画素、４０２…復元画像、５００…画素、５０１…中央範囲、５０２…周辺範囲。
【図１】
0004909925.tif 000002
【図２】
0004909925.tif 000003
【図３】
0004909925.tif 000004
【図４】
0004909925.tif 000005
【図５】
0004909925.tif 000006