(57)【要約】【課題】  対象物の目視検査において、複数の画像劣化がある動画に適切な分解能向上処理を施して、視認性の向上を図ることが可能な目視検査方法を提供する。【解決手段】  形状変化とデフォーカスと低解像度とノイズとのうち、二つ以上の画像劣化過程から使用する画像劣化過程を選択し、画像劣化過程を定義する検査条件を入力する入力ステップと、対象物を撮影して撮影動画を取得する撮影ステップと、検査条件を用いて撮影動画から高解像動画を作る合成ステップと、動画と検査条件を出力する出力ステップとを有する目視検査方法を採用する。【選択図】  図１
2015087238.tif 000002
【特許請求の範囲】
【請求項１】
二つ以上の画像劣化過程から使用する画像劣化過程を選択し、
画像劣化過程を定義する検査条件を入力する入力ステップと、
対象物を撮影して撮影動画を取得する撮影ステップと、
検査条件を用いて撮影動画から高解像動画を作る合成ステップと、
動画と検査条件を出力する出力ステップとを有する、
目視検査方法。
【請求項２】
前記対象物が放射線環境下の構造物であり、
前記画像劣化過程は形状変化とデフォーカスと低解像度と放射線ノイズとを含む、
請求項１に記載の目視検査方法。
【請求項３】
前記検査条件は放射線ノイズの定義に用いられる、正常範囲度合いパラメータと通常ノイズ確率分布と非通常ノイズ確率分布との重み付けパラメータとを含む、
請求項２に記載の目視検査方法。
【請求項４】
前記検査条件は形状変化の定義に用いられる、
誤差許容値パラメータを含む、
請求項３に記載の目視検査方法。
【請求項５】
前記検査条件はデフォーカスの定義に用いられる、
分散値パラメータを含む、
請求項３、または請求項４に記載の目視検査方法。
【請求項６】
前記検査条件は低解像度の定義に用いられる、
解像度倍率パラメータを含む、
請求項３乃至５のいずれかの請求項に記載の目視検査方法。
【請求項７】
前記出力ステップは検査条件と撮影動画と高解像動画とを保存する保存ステップを有し、
前記保存ステップは検査条件調整用の調整用撮影動画を保存するステップであり、
前記入力ステップは画像劣化要因毎に調整用撮影動画を関係付けるように設定するステップであることを特徴とする請求項１乃至６のいずれかの請求項に記載の目視検査方法。
【請求項８】
前記出力ステップは検査条件と高解像動画とを表示する表示ステップを有し、
前記合成ステップは高解像動画の評価値を算出するステップであり、
前記表示ステップは検査条件と評価値とを関係付けて表示するステップであることを特徴とする請求項１乃至７のいずれかの請求項に記載の目視検査方法。
【請求項９】
対象物を撮影して撮影動画を取得する撮影手段と、
形状変化とデフォーカスと低解像度とノイズとを含む画像劣化過程から使用する二つ以上の画像劣化過程を選択し、画像劣化要因過程を定義する検査条件を入力する入力手段と、
検査条件を用いて撮影動画から高解像動画を作る合成手段と、
動画と検査条件を出力する出力手段とを有する、
目視検査装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学カメラにより映像を取得して検査を行う技術に関し、検査対象物の動画を取得して目視検査を行うのに適した検査方法およびその装置に関する。
【背景技術】
【０００２】
原子力発電設備等のプラントや道路等の交通インフラその他では、高い安全性が求められており、定期的に十分な検査を実施しなければならない。例えば原子力プラント等では、検査対象物としては、例えば、原子炉圧力容器や、容器内にあるシュラウド、炉心支持板、燃料集合体等の構造物について検査が行われる。また、原子炉の外に保管された燃料集合体の検査など、原子炉内以外の検査もある。
【０００３】
検査方法の一つとして、光学カメラを用いて検査対象物の表面を撮影して得た動画を目視で検査する方法がある。この目視検査では、カメラを対象物に近づけて撮影する。カメラからはカラーまたはグレースケールの動画を取得する。取得した動画をディスプレイに表示して、検査員が目視で検査する。また、取得した動画を後で確認できるように記録している。また、撮影箇所を移動できるように、カメラに駆動装置が付いていて遠隔操作できる機能が付けられているか、離れた場所から検査員が手動でカメラを操作できる機構を備えている。
より詳細に観察する必要がある場合には、カメラを対象物に近づける必要がある。しかし、他の構造物などの周囲環境の関係で、カメラを近づけられない場合がある。その場合においても高い分解能でかつ視認性の良い画像を得たいという要求がある。
【０００４】
この課題については、例えば取得した動画へ分解能を向上する処理を施す方法が、特開２０１１−１６０４５号公報（特許文献１）に開示されている。この公報には、「〜前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する〜前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する〜」と記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−１６０４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載されている方法は、撮影した動画の中から複数の画像を用い、画像間の相対位置を計算して高解像度画像上での座標を計算し、複数の画像の対応する画素の輝度値から高解像度画像の各画素の輝度値を求めるという方法で、低解像度による視認性の低下を補償するための分解能を向上する処理を施している。しかしながら、検査環境によっては、低解像度の他に、ノイズ、形状変化、デフォーカス、異物、カメラ劣化等の複数の画像劣化が発生する場合がある。前述の方法ではこれらの画像劣化を考慮していないためそれらに起因する視認性低下を抑制することはできない。
【課題を解決するための手段】
【０００７】
本発明では、前記課題を解決することを目的とし、複数の画像劣化を補償することを可能とするため、複数の画像劣化過程を考慮した分解能向上処理をできるようにし、その定義に必要な検査条件を入力できるようにした。また、画像劣化要因毎に異なる調整用動画を用いて検査条件調整を容易に行うことを可能とした。また、高解像動画の評価値を算出し、検査条件の良否を判断可能とした。
【０００８】
これにより、複数の画像劣化がある動画に適切な分解能向上処理を施して、視認性の向上を図ることが可能な目視検査方法を提供する。また、分解能向上処理の各検査条件について容易に調整できる目視検査方法を提供する。また、分解能向上処理の各検査条件について、その良し悪しを容易に判断できる目視検査方法を提供する。
（１）本願は上記課題を解決する方法を複数含んでいるが、その一例を挙げるならば、二つ以上の画像劣化過程から使用する画像劣化過程を選択し、画像劣化過程を定義する検査条件を入力する入力ステップと、対象物を撮影して撮影動画を取得する撮影ステップと、検査条件を用いて撮影動画から高解像動画を作る合成ステップと、動画と検査条件を出力する出力ステップとを有する目視検査方法である。
【０００９】
特許文献１に記載されている方法が対象としている画像劣化要因である低解像度の場合は、カメラの画素数が不十分なため画像の高周波成分が失われてしまう。一方、前述のように、検査対象によっては目視検査の動画には、低解像度以外にも画像劣化が生じている場合がある。例えば、ノイズ、形状変化、デフォーカス、異物、カメラ劣化等である。ノイズの場合は、例えばカメラの電子回路に生じる熱によって対応する画素の値が異常となる。形状変化の場合は、検査対象物とカメラとの相対的な位置姿勢の変化に伴い、連続した複数のフレーム間で検査対象物に見かけ上の伸縮や歪が生じる。デフォーカスの場合は、画像の高周波成分が失われてぼやけてしまう。異物には上方から落下する水滴、水中で下方から浮上する気泡、周囲に浮遊する塵、カメラレンズに付着する汚れ等があり、いずれの場合も検査対象物が局所的に遮蔽されてしまう。カメラ劣化の場合は、放射線等でカメラの電子回路が損傷し、対応する画素の値が異常となる。
【００１０】
本発明では、複数の画像劣化要因に対応する分解能向上処理を提供する。対象とする画像劣化要因の一つであるノイズは、ランダムに発生するものであり、ランダムに発生する画像劣化の補償には統計的な手法を用いることが望ましい。そこで、実測データから未知の量を統計的に推定する手法として一般的に知られている、MAP(Maximum A Posteriori)推定手法を導入する。まず、次式により複数の撮影画像に対して最大事後確率を満たす高解像画像を求めることを考える。
【００１１】
【数１】
2015087238.tif 000003
【００１２】
X：高解像画像ベクトル
Yk：k番目の撮影画像ベクトル
P(X|Yk)：Ykに対してXが発生する事後確率
これを変換すると次式となる。
【００１３】
【数２】
2015087238.tif 000004
【００１４】
P(Yk|X)：Xに対してYkが発生する事後確率
P(X)：Xが発生する確率
この最小化問題を満たすXを1回の演算で求めることは困難であるため、次式に基づき反復演算を行うと良い。
【００１５】
【数３】
2015087238.tif 000005
【００１６】
Xn：ｎ回目の復元結果
ε：1より小さい適切な値
本発明では、複数の画像劣化要因に対応するため、画像劣化モデルであるP(Yk|X)を次式のように複数の画像劣化過程の関数で定義することとする。
【００１７】
【数４】
2015087238.tif 000006
【００１８】
Gi：i番目の画像劣化過程
ここで、複数の画像劣化は常に発生するとは限らない。例えば、カメラに冷却機構等のハード的なノイズ対策を施している場合は、ノイズという画像劣化要因を考慮する必要が無い。また、カメラを概ね静止させた状態で使用する場合には、形状変化という画像劣化要因を考慮する必要が無い。また、カメラをジャストフォーカスで使用する場合には、デフォーカスという画像劣化要因を考慮する必要が無い。また、良く管理された検査環境で水滴、気泡、塵、汚れ等が無い場合には、異物という画像劣化要因を考慮する必要が無い。また、カメラに対する放射線照射の恐れが無い検査環境の場合には、カメラ劣化という画像劣化要因を考慮する必要が無い。
【００１９】
本発明では、前式の各画像劣化過程について使用するか否かを選択可能とする。これにより、各画像劣化要因の有無に応じて適切な分解能向上処理を施すことが可能となる。
例えば、使用する画像劣化過程として低解像度とノイズとを選択した場合を説明する。撮影画像はばらつきを有しており正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、画像劣化モデルをノイズのばらつきと正常範囲のばらつきとの項に分けて次式で表すこととする。
【００２０】
【数５】
2015087238.tif 000007
【００２１】
Vk：正常範囲度合いベクトル
n00：正常範囲の確率分布
n01：ノイズの確率分布
高解像画像に低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
【００２２】
【数６】
2015087238.tif 000008
【００２３】
G1：低解像度による画像劣化過程
G2：ノイズによる画像劣化過程
また、分解能向上処理を用いる場合、分解能向上の度合いをパラメータで調整するのが一般的である。パラメータの調整具合によっては、分解能向上処理後の動画において十分な視認性が得られるとは限らない。
【００２４】
本発明では、前式の関数は撮影画像ベクトルYとパラメータ値の関数で定義することとし、パラメータ値は検査条件として入力することとする。これにより、各画像劣化の程度に応じて適切な分解能向上処理を施すことが可能となる。また、必要が無い画像劣化過程を使用しない選択をすれば、対応するパラメータを調整する手間を省くことも可能となる。
【００２５】
本発明では、動画データと検査条件との両方をモニタやHDD等に出力することとする。  これにより、複数の画像劣化がある動画について適切な分解能向上処理を選択して施し、視認性の向上を図ることが可能となる。また、高解像動画データと使用した検査条件を関連付けて確認することが可能となる。
（２）上記課題を解決する方法の他の例を挙げるならば、前記対象物が放射線環境下の構造物であり、前記画像劣化要因は形状変化とデフォーカスと低解像度と放射線ノイズとを含む、目視検査方法である。
【００２６】
前記（１）では、分解能向上処理を導入するために生じる課題を解決するための枠組みについて述べたが、その中でも原子力プラントなど、遠隔操作で放射線環境下における検査で特に有効と思われる方法の一例について以下で説明する。原子力プラント内の構造物を検査する場合は、低解像度に加えて主に以下の三つの画像劣化要因を考慮する必要がある。カメラには遠隔操作して撮影箇所を移動できる機能が付いているため、形状変化も考慮する必要がある。また、原子力プラント内は立体的で複雑な構造であり、カメラを設置できる領域が限られることもあり、ジャストフォーカスで使用できるとは限らない場合もあるため、デフォーカスも考慮する必要がある。また、放射線が多い環境で行われるため、放射線ノイズを考慮する必要がある。
【００２７】
本発明では、上述の画像劣化要因に対応するため、分解能向上処理を形状変化とデフォーカスと低解像度と放射線ノイズとに対応する画像劣化過程の関数で定義することとする。
形状変化は画像上で発生している箇所とそうでない箇所がある。そこで形状変化による画像劣化過程を定義するため、画像劣化モデルを形状変化部と形状保存部との項に分けて次式で表すこととする。
【００２８】
【数７】
2015087238.tif 000009
【００２９】
Wk：形状保存度合いベクトル
n0：形状保存部の確率分布
n1：形状変化部の確率分布
また形状保存部であってもばらつきを有しており、正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、形状保存部をノイズのばらつきと正常範囲のばらつきとの項に分けて画像劣化モデルを次式で表すこととする。
【００３０】
【数８】
2015087238.tif 000010
【００３１】
Vk：正常範囲度合いベクトル
n00：形状保存部の正常範囲の確率分布
n01：形状保存部のノイズの確率分布
形状保存部においては、高解像画像にデフォーカスと低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
【００３２】
【数９】
2015087238.tif 000011
【００３３】
G1：低解像度による画像劣化過程
G2：ノイズによる画像劣化過程
G4：デフォーカスによる画像劣化過程
形状変化部においては、高解像動画に形状変化による画像劣化過程を加えたものが撮影画像になることから、n1を次式で定義する。
【００３４】
【数１０】
2015087238.tif 000012
【００３５】
G3：形状変化による画像劣化過程
以上により、遠隔操作でかつ放射線環境下で想定される画像劣化を補償した分解能向上処理が可能となる。
（３）上記課題を解決する方法の他の例を挙げるならば、前記検査条件は放射線ノイズの定義に用いられる、正常範囲度合いパラメータと通常ノイズ確率分布と非通常ノイズ確率分布との重み付けパラメータとを含む、目視検査方法である。
【００３６】
前記（２）では、放射線ノイズによる画像劣化過程の定義には、正常範囲度合いベクトルVkと形状保存部の放射線ノイズの確率分布n01とを画像劣化モデル式に用いることを述べた。さらにVkとn01の定義に用いるパラメータについて以下で説明する。
Vkは、当該画素がエッジであれば大きくなり、エッジでなければ小さくなる関数で定義することが望ましい。本発明では、当該画素にエッジ抽出フィルタを適用しその抽出値の関数でVkを定義することとする。エッジ抽出フィルタには、例えば、一般的に知られているキャニー法を用いると良い。キャニー法ではエッジ抽出の感度をフィルタに用いるガウシアンの標準偏差値で調整する。そこでこの標準偏差値をVkの定義に用いるパラメータとする。
n01は放射線ノイズの確率分布である。通常のノイズの確率分布はガウス分布で近似できる。しかしながら放射線ノイズは通常のノイズとは異なり、放射線が照射された画素値は大きな値をとる確率が高く、ガウス分布では近似できない。そこで、通常ノイズ確率分布と非通常ノイズ確率分布との重み付き合成でn01を定義することとする。非通常ノイズ確率分布は例えば一様分布が好ましい。放射線ノイズの近似度合は重みで調整できるため、この重みをn01の定義に用いるパラメータとする。
以上のパラメータを検査条件に用いることにより、放射線ノイズによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
（４）上記課題を解決する方法の他の例を挙げるならば、前記検査条件は形状変化の定義に用いられる、誤差許容値パラメータを含む、目視検査方法である。
前記（２）では、形状変化による画像劣化過程の定義には、形状保存度合いベクトルWkと形状変化部の確率分布n1とを画像劣化モデル式に用いることを述べた。さらにWkとn1の定義に用いるパラメータについて以下で説明する。
【００３７】
Wkは、撮影動画の複数のフレームの当該画素間で誤差が大きければ小さくなる関数で定義することが望ましい。例えば、一般に知られているbiweight関数を用いると良い。biweight関数では誤差の感度を誤差の許容値で調整する。そこでこの誤差許容値をWkの定義に用いるパラメータとする。
n1は形状変化部の確率分布である。形状変化部の確率分布はXに依存しないと考えられる。そこで、一様分布でn1を定義することとする。
以上のパラメータを検査条件に用いることにより、形状変化による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
（５）上記課題を解決する方法の他の例を挙げるならば、前記検査条件はデフォーカスの定義に用いられる、分散値パラメータを含む目視検査方法である。
前記（２）では、デフォーカスによる画像劣化過程を画像劣化モデル式に用いることを述べた。デフォーカスの定義に用いるパラメータについて以下で説明する。
【００３８】
デフォーカスは、画像の高周波成分が失われる現象でありローパス関数で定義するのが望ましい。例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。そこでこの分散値をデフォーカスの定義に用いるパラメータとする。
以上のパラメータを検査条件に用いることにより、デフォーカスによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
（６）上記課題を解決する方法の他の例を挙げるならば、前記検査条件は低解像度の定義に用いられる、解像度倍率パラメータを含む目視検査方法である。
前記（２）では、低解像度による画像劣化過程を画像劣化モデル式に用いることを述べた。低解像度の定義に用いるパラメータについて以下で説明する。
【００３９】
低解像度は、カメラの画素数が不十分なため画像が量子化されてしまう現象でありローパス関数とサンプリング数で定義するのが望ましい。ローパス関数は、例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。サンプリング数は解像度倍率で決まる。そこでこの分散値と解像度倍率を低解像度の定義に用いるパラメータとする。
以上のパラメータを検査条件に用いることにより、低解像度による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
（７）上記課題を解決する方法の他の例を挙げるならば、前記出力ステップは検査条件と撮影動画と高解像動画とを保存する保存ステップを有し、前記保存ステップは検査条件調整用の調整用撮影動画を保存し、前記入力ステップは画像劣化要因毎に調整用撮影動画を関係付けるように設定する、目視検査方法である。
【００４０】
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整するのが一般的である。分解能向上処理は複数のパラメータを組み合わせた複雑なアルゴリズムとなっている。通常は、それらのパラメータを調整するのは容易ではない。パラメータ調整を行うには分解能向上処理を熟知している検査員が対応する必要がある。
【００４１】
一方、検査環境によっては、想定される画像劣化要因は複数ある。それぞれの画像劣化は常に生じているとは限らない。ある画像劣化が生じていない動画に対して、その画像劣化の補償に感度を持つパラメータを調整することは難しい。例えば、ノイズがほとんど無い動画を用いてデフォーカスや低解像度による画像劣化の補償のパラメータ調整を行うことは有効であるが、ノイズによる画像劣化の補償のパラメータ調整には適切ではない。その結果、分解能向上処理後の視認性が不十分となる可能性がある。
これらのパラメータ調整には、適切な調整用の動画を用いて視認性を確認しながら調整することが望ましい。
【００４２】
そこで本発明では、画像劣化要因毎に異なる調整用撮影動画を用いてパラメータ調整を行う。例えば、画像劣化要因はノイズ、形状変化、デフォーカスがある。それぞれに対応して、カメラにノイズが生じている状態で撮影したノイズ動画、カメラを移動しながら検査対象物を撮影したカメラ移動動画、カメラのフォーカスがずれた状態で撮影したデフォーカス動画を用いる。また、各画像劣化の補償に感度を持つパラメータは定まっているので、そのパラメータ毎にどの撮影動画を調整に用いるかを関係付けて設定する。また、調整に使用する撮影動画を調整用撮影動画として保存する。また、分解能向上処理に使用された検査条件と分解能向上処理の結果を検査後にも確認できるように、検査条件と処理前の撮影動画と処理後の高解像動画とを保存する。
これにより、検査条件を、画像劣化要因毎に、容易に調整し視認性を確認することが可能となる。
（８）上記課題を解決する方法の他の例を挙げるならば、前記出力ステップは検査条件と高解像動画とを表示する表示ステップを有し、前記合成ステップは高解像動画の評価値を算出し、前記表示ステップは検査条件と評価値とを関係付けて表示する、目視検査方法である。
【００４３】
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整する。パラメータの調整毎に新たな検査条件が設定され、新たな高解像動画が作成されることになる。結果として多数の検査条件と超解像動画が存在し、それらを同時に確認することは困難である。よって、どの高解像動画が最も視認性の良いものかを判断することは容易ではない。また、各高解像動画がどのような検査条件で作成されたものかを管理することも必要である。
【００４４】
そこで本発明では、高解像動画を合成した際にその高解像動画の評価値を算出する。その評価値は、例えば、（２）で述べたn01の定義に使用する、Yk−G1(G4(X))  の値を用いると良い。形状変化の影響を無視すればこの値が小さいほど画像劣化を補償した高解像動画が作成されたことになる。よって、カメラ移動が小さい場合には、視認性が良い高解像動画が作成されていることが期待できる。また、この評価値と高解像動画とそれに使用した検査条件とをモニタに表示する。
これにより、表示された高解像動画と検査条件とを関連付けて確認できるとともに、同時に表示された評価値によって高解像動画の視認性の良し悪しを判断する上で参考とすることが可能となる。
（９）上記課題を解決する構成の例を挙げるならば、対象物を撮影して撮影動画を取得する撮影手段と、形状変化とデフォーカスと低解像度とノイズとを含む画像劣化過程から使用する二つ以上の画像劣化過程を選択し、画像劣化要因過程を定義する検査条件を入力する入力手段と、検査条件を用いて撮影動画から高解像動画を作る合成手段と、動画と検査条件を出力する出力手段とを有する、目視検査装置である。
（１）〜（８）では、分解能向上処理を導入するために生じる課題を解決するための方法について複数の例を述べたが、それらの方法を実施するのに有効と思われる装置構成の一例について以下で説明する。
【００４５】
まず検査対象物を撮影する手段を設ける。撮影手段には例えば、光学カメラを使用すると良い。
カメラを対象物に近づけられない場合に生じる低解像度、及びその他に生じる場合があるノイズ、形状変化、デフォーカス等による画像劣化を補償するために分解能向上処理を施す。ここで、分解能向上処理の度合いを調整するのに必要な検査条件を入力可能な入力手段を設ける。入力手段は、例えば、モニタに入力用GUIを設けて、キーボード、マウス等で入力可能とすると良い。入力する検査条件は複数のパラメータからなる。各画像劣化の補償に感度を持つパラメータは定まっているので、画像劣化過程と対応するパラメータを関連付けてGUI上に配置する。即ち、ノイズの画像劣化過程に対しては正常範囲と重みづけとのパラメータを対応付けし、形状変化に対しては誤差許容値パラメータを対応付けし、デフォーカスに対しては分散値パラメータを対応付けし、低解像度に対しては解像度倍率パラメータを対応付けする。さらに各画像劣化過程についてそれを使用するか否か選択可能なスイッチをGUI上に設ける。
【００４６】
また、入力手段で設定された検査条件を用いて撮影手段で取得した撮影動画に対して分解能向上処理を施し高解像動画を作成する合成手段を設ける。合成手段は、例えば、演算処理器を含むコンピュータから成り、撮影手段、入力手段、出力手段との通信・制御も行う。この合成手段において、入力された検査条件で定義される画像劣化モデルに基づいて分解能向上処理を行う。
【００４７】
さらに、動画と検査条件とを出力する出力手段を設ける。出力手段は、例えば、HDD等の保存装置やモニタ等の表示装置から成る。HDDには撮影動画及び高解像動画と検査条件とを保存する。撮影動画には調整用撮影動画を含み、検査条件調整に使用できるよう画像劣化過程と関連付けておく。高解像動画は使用した検査条件を確認できるように関連付けておく。モニタは入力手段のモニタと共用であっても良い。モニタには高解像動画を表示しユーザが検査するために提供する。また、検査条件を一緒に表示しても良い。また、撮影動画を一緒に表示しても良い。また、合成手段で算出した評価値を一緒に表示しても良い。これにより分解能向上処理に用いた検査条件、分解能向上処理の目視効果、分解能向上処理の数値評価結果をユーザが確認することが可能となる。
以上の構成により、検査対象物の動画を取得して行う目視検査で想定される画像劣化を適切に補償した高解像動画を得ることが可能となる。
【発明の効果】
【００４８】
本発明によれば、複数の画像劣化が発生する場合でも、それらの画像劣化を補償し、視認性の良い高解像動画を用いた検査が可能となった。
【図面の簡単な説明】
【００４９】
【図１】目視検査装置の基本的な手順の例を示す図である。
【図２】分解能向上処理の基本的な概念の例を示す図である。
【図３】放射線環境下の構造物を対象とした分解能向上処理の基本的な概念の例を示す図である。
【図４】画像劣化過程の選択方法の例を示す図である。
【図５】放射線ノイズパラメータの定義方法の例を示す図である。
【図６】形状変化パラメータの定義方法の例を示す図である。
【図７】デフォーカスパラメータの定義方法の例を示す図である。
【図８】低解像度パラメータの定義方法の例を示す図である。
【図９Ａ】目視検査方法の発展的な手順の例を示す図である。
【図９Ｂ】検査前調整ステップの詳細なフローチャートの例である。
【図９Ｃ】検査ステップの詳細なフローチャートの例である。
【図９Ｄ】再確認ステップの詳細なフローチャートの例である。
【図１０Ａ】画像劣化過程と調整用動画との対応関係を設定する方法の例を示す図である。
【図１０Ｂ】検査前調整ステップでの画面表示の例を示す図である。
【図１１Ａ】検査前調整ステップの別の詳細なフローチャートの例である。
【図１１Ｂ】再確認ステップの別の詳細なフローチャートの例である。
【図１２Ａ】動画出力ステップの表示の例を示す図である。
【図１２Ｂ】評価値グラフの拡大図の例である。
【図１３】目視検査装置の基本的な構成の例を示す図である。
【図１４】検査条件入力手段の例を示す図である。
【図１５】モニタへの表示の例を示す図である。
【図１６Ａ】画像劣化過程の選択方法の例を示す図である。
【図１６Ｂ】検査条件定義方法の例を示す図である。
【図１７】モニタへの出力の例を示す図である。
【発明を実施するための形態】
【００５０】
以下、実施例を図面を用いて説明する。
【実施例１】
【００５１】
本実施例では、二つ以上の画像劣化過程から使用する画像劣化過程を選択し、画像劣化過程を定義する検査条件を入力する入力ステップと、対象物を撮影して撮影動画を取得する撮影ステップと、検査条件を用いて撮影動画から高解像動画を作る合成ステップと、動画と検査条件を出力する出力ステップとを有する目視検査方法を説明する。
【００５２】
特許文献１に記載されている方法が対象としている画像劣化要因である低解像度の場合は、カメラの画素数が不十分なため画像の高周波成分が失われてしまう。一方、前述のように、検査対象によっては目視検査の動画には、低解像度以外にも画像劣化が生じている場合がある。例えば、ノイズ、形状変化、デフォーカス、異物、カメラ劣化等である。ノイズの場合は、例えばカメラの電子回路に生じる熱によって対応する画素の値が異常となる。形状変化の場合は、検査対象物とカメラとの相対的な位置姿勢の変化に伴い、連続した複数のフレーム間で検査対象物に見かけ上の伸縮や歪が生じる。デフォーカスの場合は、画像の高周波成分が失われてぼやけてしまう。異物には上方から落下する水滴、水中で下方から浮上する気泡、周囲に浮遊する塵、カメラレンズに付着する汚れ等があり、いずれの場合も検査対象物が局所的に遮蔽されてしまう。カメラ劣化の場合は、放射線等でカメラの電子回路が損傷し、対応する画素の値が異常となる。
【００５３】
本発明では、複数の画像劣化要因に対応する分解能向上処理を提供する。対象とする画像劣化要因の一つであるノイズは、ランダムに発生するものであり、ランダムに発生する画像劣化の補償には統計的な手法を用いることが望ましい。そこで、実測データから未知の量を統計的に推定する手法として一般的に知られている、MAP(Maximum A Posteriori)推定手法を導入する。まず、次式により複数の撮影画像に対して最大事後確率を満たす高解像画像を求めることを考える。
【００５４】
【数１】
2015087238.tif 000013
【００５５】
X：高解像画像ベクトル
Yk：k番目の撮影画像ベクトル
P(X|Yk)：Ykに対してXが発生する事後確率
これを変換すると次式となる。
【００５６】
【数２】
2015087238.tif 000014
【００５７】
P(Yk|X)：Xに対してYkが発生する事後確率
P(X)：Xが発生する確率
この最小化問題を満たすXを1回の演算で求めることは困難であるため、次式に基づき反復演算を行うと良い。
【００５８】
【数３】
2015087238.tif 000015
【００５９】
Xn：ｎ回目の復元結果
ε：1より小さい適切な値
本発明では、複数の画像劣化要因に対応するため、画像劣化モデルであるP(Yk|X)を次式のように複数の画像劣化過程の関数で定義することとする。
【００６０】
【数４】
2015087238.tif 000016
【００６１】
Gi：i番目の画像劣化過程
ここで、複数の画像劣化は常に発生するとは限らない。例えば、カメラに冷却機構等のハード的なノイズ対策を施している場合は、ノイズという画像劣化要因を考慮する必要が無い。また、カメラを概ね静止させた状態で使用する場合には、形状変化という画像劣化要因を考慮する必要が無い。また、カメラをジャストフォーカスで使用する場合には、デフォーカスという画像劣化要因を考慮する必要が無い。また、良く管理された検査環境で水滴、気泡、塵、汚れ等が無い場合には、異物という画像劣化要因を考慮する必要が無い。また、カメラに対する放射線照射の恐れが無い検査環境の場合には、カメラ劣化という画像劣化要因を考慮する必要が無い。
【００６２】
本発明では、前式の各画像劣化過程について使用するか否かを選択可能とする。これにより、各画像劣化要因の有無に応じて適切な分解能向上処理を施すことが可能となる。
例えば、使用する画像劣化過程として低解像度とノイズとを選択した場合を説明する。撮影画像はばらつきを有しており正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、画像劣化モデルをノイズのばらつきと正常範囲のばらつきとの項に分けて次式で表すこととする。
【００６３】
【数５】
2015087238.tif 000017
【００６４】
Vk：正常範囲度合いベクトル
n00：正常範囲の確率分布
n01：ノイズの確率分布
高解像画像に低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
【００６５】
【数６】
2015087238.tif 000018
【００６６】
G1：低解像度による画像劣化過程
G2：ノイズによる画像劣化過程
また、分解能向上処理を用いる場合、分解能向上の度合いをパラメータで調整するのが一般的である。パラメータの調整具合によっては、分解能向上処理後の動画において十分な視認性が得られるとは限らない。
【００６７】
本発明では、前式の関数は撮影画像ベクトルYとパラメータ値の関数で定義することとし、パラメータ値は検査条件として入力することとする。これにより、各画像劣化の程度に応じて適切な分解能向上処理を施すことが可能となる。また、必要が無い画像劣化過程を使用しない選択をすれば、対応するパラメータを調整する手間を省くことも可能となる。
【００６８】
本発明では、動画データと検査条件との両方をモニタやHDD等に出力することとする。  
図１は目視検査方法の基本的な手順を示す。まず画像劣化過程選択ステップ１０１で使用する画像劣化過程をユーザが選択する。次に、検査条件入力ステップ１０２で分解能向上処理のパラメータをユーザが入力する。次に、動画入力ステップ１０３で検査対象物を撮影して撮影動画を取得する。次に高解像動画作成ステップ１０４で検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ１０５で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ１０３から動画出力ステップ１０５は終了ステップ１０６を選択するまで繰り返す。次に終了ステップ１０７が選択されなければ画像劣化過程選択ステップ１０１に戻り、必要に応じて使用する画像劣化過程をユーザが選択しなおす。終了ステップ１０７が選択されれば手順終了になる。
【００６９】
図２は分解能向上処理の基本的な概念を示す。本分解能向上処理では、画像劣化モデル２０１をカメラ撮像時の複数の画像劣化過程の関数で定義する。高解像動画X２０２は、例えば画像劣化過程の一つである低解像度G1２０３によって解像度の低い低解像画像２０４に変換される。さらにノイズG2２０５によってノイズが重畳された撮像画像Y２０６に変換される。分解能向上処理２０７は画像劣化モデル２０１から導いた劣化復元式２０８に基づいて反復演算を行い、高解像動画を作成する。ここで撮像動画Y２０６の連続するkフレームを分解能向上処理に用いる。
【００７０】
図１６Aは画像劣化過程の選択方法の例を示す。本発明では画像劣化過程選択手段１６０１を設ける。選択手段上には画像劣化過程の選択肢として、例えば、形状変化１６０２とデフォーカス１６０３と低解像度１６０４とノイズ１６０５と異物１６０６とカメラ劣化１６０７とを含む。各過程を使用するか否かをそれぞれのチェックボックス１６０８で選択可能とする。ユーザが分解能向上処理に使用する画像劣化過程に対応するチェックボックスをチェックすることでその画像劣化過程が選択される。
【００７１】
図１６Bは検査条件定義方法の例を示す。本発明では検査条件定義手段１６０９を設ける。定義手段上には形状変化パラメータとして、例えば形状変化パラメータ1１６１０、形状変化パラメータ2１６１１を含む。同様に、デフォーカスパラメータ1１６１２、デフォーカスパラメータ2１６１３、低解像度パラメータ1１６１４、低解像度パラメータ2１６１５、ノイズパラメータ1１６１６、ノイズパラメータ2１６１７、異物パラメータ1１６１８、異物パラメータ2１６１９、カメラ劣化パラメータ1１６２０、カメラ劣化パラメータ2１６２１も含む。各パラメータの値は入力ボックス１６２２やスライドバー１６２３で設定可能とする。ユーザが入力ボックス１６２２に値を入力またはスライドバー１６２３を動かすことでパラメータの値が入力される。入力されたパラメータを用いて画像劣化過程の関数が算出される。また、画像劣化過程選択で選択されなかった画像劣化過程のパラメータについては、インアクティブ表示にして調整の手間を省くようにしても良い。
【００７２】
図１７はモニタへの出力の例を示す。表示画面１７０１上には撮像動画１７０２と高解像動画１７０３と画像劣化過程選択手段１６０１と検査条件定義手段１６０９とを表示する。画像劣化過程選択手段１６０１の構成は図１６Aの説明と同様であり、検査条件定義手段１６０９の構成は図１６Bの説明と同様である。
これにより、複数の画像劣化がある動画について適切な分解能向上処理を選択して施し、視認性の向上を図ることが可能となる。また、高解像動画データと使用した検査条件を関連付けて確認することが可能となる。
【実施例２】
【００７３】
本実施例では、前記対象物が放射線環境下の構造物であり、前記画像劣化要因は形状変化とデフォーカスと低解像度と放射線ノイズとを含む目視検査方法を説明する。
【００７４】
前記実施例１では、分解能向上処理を導入するために生じる課題を解決するための枠組みについて述べたが、その中でも原子力プラントなど、遠隔操作で放射線環境下における検査で特に有効と思われる方法の一例について以下で説明する。原子力プラント内の構造物を検査する場合は、低解像度に加えて主に以下の三つの画像劣化要因を考慮する必要がある。カメラには遠隔操作して撮影箇所を移動できる機能が付いているため、形状変化も考慮する必要がある。また、原子力プラント内は立体的で複雑な構造であり、カメラを設置できる領域が限られることもあり、ジャストフォーカスで使用できるとは限らない場合もあるため、デフォーカスも考慮する必要がある。また、放射線が多い環境で行われるため、放射線ノイズを考慮する必要がある。
本実施例では、上述の画像劣化要因に対応するため、分解能向上処理を形状変化とデフォーカスと低解像度と放射線ノイズとに対応する画像劣化過程の関数で定義することとする。
【００７５】
形状変化は画像上で発生している箇所とそうでない箇所がある。そこで形状変化による画像劣化過程を定義するため、画像劣化モデルを形状変化部と形状保存部との項に分けて次式で表すこととする。
【００７６】
【数７】
2015087238.tif 000019
【００７７】
Wk：形状保存度合いベクトル
n0：形状保存部の確率分布
n1：形状変化部の確率分布
また形状保存部であってもばらつきを有しており、正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、形状保存部をノイズのばらつきと正常範囲のばらつきとの項に分けて画像劣化モデルを次式で表すこととする。
【００７８】
【数８】
2015087238.tif 000020
【００７９】
Vk：正常範囲度合いベクトル
n00：形状保存部の正常範囲の確率分布
n01：形状保存部のノイズの確率分布
形状保存部においては、高解像画像にデフォーカスと低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
【００８０】
【数９】
2015087238.tif 000021
【００８１】
G1：低解像度による画像劣化過程
G2：ノイズによる画像劣化過程
G4：デフォーカスによる画像劣化過程
形状変化部においては、高解像動画に形状変化による画像劣化過程を加えたものが撮影画像になることから、n1を次式で定義する。
【００８２】
【数１０】
2015087238.tif 000022
【００８３】
G3：形状変化による画像劣化過程
図３は放射線環境下の構造物を対象とした分解能向上処理の基本的な概念を示す。本分解能向上処理では、画像劣化モデル２０１をカメラ撮像時の複数の画像劣化過程の関数で定義する。高解像動画X２０２は、画像劣化過程の一つである形状変化G3３０１によってフレーム間で局所的な歪が生じる。次に画像劣化過程の一つであるデフォーカスG4３０２によってぼやけてデフォーカス動画３０３に変換される。その次に画像劣化過程の一つである低解像度G1２０３によって解像度の低い低解像動画２０４に変換される。さらに画像劣化過程の一つであるノイズG2２０５によってノイズが重畳され撮像動画Y２０６に変換される。分解能向上処理２０７は画像劣化モデル２０１から導いた劣化復元式２０８に基づいて反復演算を行い、高解像動画を作成する。ここで撮像動画Y２０６は連続するkフレームを扱う。
【００８４】
図４は画像劣化過程の選択方法の例を示す。本発明では画像劣化過程選択手段４０１を設ける。選択手段上には画像劣化過程の選択肢として、形状変化４０２とデフォーカス４０３と低解像度４０４とノイズ４０５とを含む。各過程を使用するか否かをそれぞれのチェックボックス４０６で選択可能とする。ユーザが分解能向上処理に使用する画像劣化過程に対応するチェックボックスをチェックすることでその画像劣化過程が選択される。
以上により、遠隔操作でかつ放射線環境下で想定される画像劣化を補償した分解能向上処理が可能となる。
【実施例３】
【００８５】
本実施例では、前記検査条件は放射線ノイズの定義に用いられる、正常範囲度合いパラメータと通常ノイズ確率分布と非通常ノイズ確率分布との重み付けパラメータとを含む目視検査方法を説明する。
前記実施例２では、放射線ノイズによる画像劣化過程の定義には、正常範囲度合いベクトルVkと形状保存部の放射線ノイズの確率分布n01とを画像劣化モデル式に用いることを述べた。さらにVkとn01の定義に用いるパラメータについて以下で説明する。
【００８６】
Vkは、当該画素がエッジであれば大きくなり、エッジでなければ小さくなる関数で定義することが望ましい。本実施例では、当該画素にエッジ抽出フィルタを適用しその抽出値の関数でVkを定義することとする。エッジ抽出フィルタには、例えば、一般的に知られているキャニー法を用いると良い。キャニー法ではエッジ抽出の感度をフィルタに用いるガウシアンの標準偏差値で調整する。そこでこの標準偏差値をVkの定義に用いるパラメータとする。
n01は放射線ノイズの確率分布である。通常のノイズの確率分布はガウス分布で近似できる。しかしながら放射線ノイズは通常のノイズとは異なり、放射線が照射された画素値は大きな値をとる確率が高く、ガウス分布では近似できない。そこで、通常ノイズ確率分布と非通常ノイズ確率分布との重み付き合成でn01を定義することとする。非通常ノイズ確率分布は例えば一様分布が好ましい。放射線ノイズの近似度合は重みで調整できるため、この重みをn01の定義に用いるパラメータとする。
【００８７】
図５は放射線ノイズパラメータの定義方法の例を示す。本実施例では放射線ノイズ定義手段５０１を設ける(図５(a))。定義手段上には放射線ノイズパラメータとして、標準偏差値σ５０２、重みw５０３を含む。各パラメータの値を入力ボックス５０４やスライドバー５０５で設定可能とする。ユーザが入力ボックス５０４に値を入力またはスライドバー５０５を動かすことでパラメータの値が入力される。入力された標準偏差値σ５０２に応じてエッジ抽出フィルタに用いるガウシアン５０６の形状が定義される(図５(c))。このエッジ抽出フィルタで算出されたエッジ度５０７に応じてVkの定義関数５０８から正常範囲度合Vk５０９が算出される(図５(b))。また、入力された重みw５０３に応じて通常ノイズ確率分布５１０と非通常ノイズ確率分布５１１との重み付き合成で放射線ノイズの確率分布n01５１２が定義される(図５(d))。
以上のパラメータを検査条件に用いることにより、放射線ノイズによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
【実施例４】
【００８８】
本実施例では、前記検査条件は形状変化の定義に用いられる、誤差許容値パラメータを含む目視検査方法を説明する。
前記実施例２では、形状変化による画像劣化過程の定義には、形状保存度合いベクトルWkと形状変化部の確率分布n1とを画像劣化モデル式に用いることを述べた。さらにWkとn1の定義に用いるパラメータについて以下で説明する。
【００８９】
Wkは、撮影動画の複数のフレームの当該画素間で誤差が大きければ小さくなる関数で定義することが望ましい。例えば、一般に知られているbiweight関数を用いると良い。biweight関数では誤差の感度を誤差の許容値で調整する。そこでこの誤差許容値をWkの定義に用いるパラメータとする。
n1は形状変化部の確率分布である。形状変化部の確率分布はXに依存しないと考えられる。そこで、一様分布でn1を定義することとする。
【００９０】
図６は形状変化パラメータの定義方法を示す。本発明では形状変化定義手段６０１を設ける(図６(a))。定義手段上には形状変化パラメータとして、誤差許容値a６０２を含む。各パラメータの値を入力ボックス６０３やスライドバー６０４で設定可能とする。ユーザが入力ボックス６０３に値を入力またはスライドバー６０４を動かすことでパラメータの値が入力される。入力された標準偏差値a６０２に応じてWkの定義関数６０５から形状保存度合Wk６０６が算出される(図６(b))。
以上のパラメータを検査条件に用いることにより、形状変化による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
【実施例５】
【００９１】
本実施例では、前記検査条件はデフォーカスの定義に用いられる、分散値パラメータを含む目視検査方法を説明する。
前記実施例２では、デフォーカスによる画像劣化過程を画像劣化モデル式に用いることを述べた。デフォーカスの定義に用いるパラメータについて以下で説明する。
【００９２】
デフォーカスは、画像の高周波成分が失われる現象でありローパス関数で定義するのが望ましい。例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。そこでこの分散値をデフォーカスの定義に用いるパラメータとする。
図７はデフォーカスパラメータの定義方法を示す。本発明ではデフォーカス定義手段７０１を設ける(図７(a))。定義手段上には形状変化パラメータとして、分散値d７０２を含む。各パラメータの値を入力ボックス７０３やスライドバー７０４で設定可能とする。ユーザが入力ボックス７０３に値を入力またはスライドバー７０４を動かすことでパラメータの値が入力される。入力された分散値d７０２に応じてデフォーカスの定義関数７０５が定義される(図７(b))。
【００９３】
以上のパラメータを検査条件に用いることにより、デフォーカスによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
【実施例６】
【００９４】
本実施例では、前記検査条件は低解像度の定義に用いられる、解像度倍率パラメータを含む目視検査方法を説明する。
前記実施例２では、低解像度による画像劣化過程を画像劣化モデル式に用いることを述べた。低解像度の定義に用いるパラメータについて以下で説明する。
【００９５】
低解像度は、カメラの画素数が不十分なため画像が粗く量子化されてしまう現象でありローパス関数とサンプリング数で定義するのが望ましい。ローパス関数は、例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。サンプリング数は解像度倍率で決まる。そこでこの分散値と解像度倍率を低解像度の定義に用いるパラメータとする。
図８は低解像度パラメータの定義方法の例を示す。本発明では低解像度定義手段８０１を設ける(図８(a))。定義手段上には低解像度パラメータとして、分散値σ８０２、解像度倍率r８０３を含む。各パラメータの値を入力ボックス８０４やスライドバー８０５で設定可能とする。ユーザが入力ボックス８０４に値を入力またはスライドバー８０５を動かすことでパラメータの値が入力される。入力された分散値σ８０２に応じてローパス関数８０６の形状が定義される(図８(b))。また、入力された解像度倍率r８０３と高解像動画の画素数HD８０７から撮像動画のサンプリング数SD８０８が算出される(図８(c))。
以上のパラメータを検査条件に用いることにより、低解像度による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
【実施例７】
【００９６】
本実施例では、前記出力ステップは検査条件と撮影動画と高解像動画とを保存する保存ステップを有し、前記保存ステップは検査条件調整用の調整用撮影動画を保存し、前記入力ステップは画像劣化要因毎に調整用撮影動画を関係付けるように設定する目視検査方法を説明する。
【００９７】
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整するのが一般的である。分解能向上処理は複数のパラメータを組み合わせた複雑なアルゴリズムとなっている。通常は、それらのパラメータを調整するのは容易ではない。パラメータ調整を行うには分解能向上処理を熟知している検査員が対応する必要がある。
【００９８】
一方、検査環境によっては、想定される画像劣化要因は複数ある。それぞれの画像劣化は常に生じているとは限らない。ある画像劣化が生じていない動画に対して、その画像劣化の補償に感度を持つパラメータを調整することは難しい。例えば、ノイズがほとんど無い動画を用いてデフォーカスや低解像度による画像劣化の補償のパラメータ調整を行うことは有効であるが、ノイズによる画像劣化の補償のパラメータ調整には適切ではない。その結果、分解能向上処理後の視認性が不十分となる可能性がある。
これらのパラメータ調整には、適切な調整用の動画を用いて視認性を確認しながら調整することが望ましい。
【００９９】
そこで本実施例では、画像劣化要因毎に異なる調整用撮影動画を用いてパラメータ調整を行う。例えば、画像劣化要因はノイズ、形状変化、デフォーカスがある。それぞれに対応して、カメラにノイズが生じている状態で撮影したノイズ動画、カメラを移動しながら検査対象物を撮影したカメラ移動動画、カメラのフォーカスがずれた状態で撮影したデフォーカス動画を用いる。また、各画像劣化の補償に感度を持つパラメータは定まっているので、そのパラメータ毎にどの撮影動画を調整に用いるかを関係付けて設定する。また、調整に使用する撮影動画を調整用撮影動画として保存する。また、分解能向上処理に使用された検査条件と分解能向上処理の結果を検査後にも確認できるように、検査条件と処理前の撮影動画と処理後の高解像動画とを保存する。
【０１００】
図９Aは目視検査方法の発展的な手順を示す。目視検査の手順は大きく検査前調整ステップ９０１と検査ステップ９０２と再確認ステップ９０３とに分かれる。検査前調整ステップ９０１ではあらかじめ検査条件を調整しておく。検査ステップ９０２では調整済みの検査条件を用いて検査を行う。再確認ステップ９０３では必要に応じて検査条件を再調整して再度確認を行う。
【０１０１】
図９Bは検査前調整ステップ９０１の詳細を示す。まず画像劣化過程選択ステップ１０１で使用する画像劣化過程をユーザが選択する。次に調整用動画選択ステップ９０４で調整に使う動画を選択する。次に、検査条件入力ステップ１０２で分解能向上処理のパラメータをユーザが入力する。次に、動画入力ステップ１０３で選択した調整用動画を入力する。次に高解像動画作成ステップ１０４で検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ１０５で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ１０３から動画出力ステップ１０５は終了ステップ１０６を選択するまで繰り返す。次に終了ステップ１０７が選択されなければ画像劣化過程選択ステップ１０１に戻り、必要に応じて使用する画像劣化過程をユーザが選択しなおす。終了ステップ１０７が選択されれば検査条件保存ステップ９０５で入力した検査条件を保存し手順終了になる。ここで調整用動画選択ステップ９０４では、前ステップの画像劣化選択ステップ１０１で選択した画像劣化過程に対応した調整用動画を選択する。画像劣化過程と調整用動画との対応関係はあらかじめ設定しておくものとする。
【０１０２】
図９Cは検査ステップ９０２の詳細を示す。動画入力ステップ１０３で検査対象物を撮影して撮影動画を取得する。次に高解像動画作成ステップ１０４で保存済みの検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ１０５で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ１０３から高解像動画出力ステップ１０５は終了ステップ１０６を選択するまで繰り返す。ここで動画出力ステップ１０５は保存ステップ９０６を有し、撮像動画を保存することを可能とする。保存された撮像動画は調整用動画として使用することも可能とする。
【０１０３】
図９Dは再確認ステップ９０３の詳細を示す。まず画像劣化過程選択ステップ１０１で使用する画像劣化過程をユーザが必要に応じて再選択する。次に、検査条件入力ステップ１０２で分解能向上処理のパラメータをユーザが必要に応じて再入力する。次に、動画入力ステップ１０３で保存済みの撮像動画を入力する。次に高解像動画作成ステップ１０４で検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ１０５で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ１０３から動画出力ステップ１０５は終了ステップ１０６を選択するまで繰り返す。次に終了ステップ１０７が選択されなければ画像劣化過程選択ステップ１０１に戻り、使用する画像劣化過程をユーザが選択しなおす。終了ステップ１０７が選択されれば検査条件保存ステップ９０５で再入力した検査条件を保存し手順終了になる。
【０１０４】
図１０Aは画像劣化過程と調整用動画との対応関係を設定する方法の一例を示す。各画像劣化過程１００１について調整に適した調整動画１００２を対応させる。また、各調整画像を識別し易いようにそれぞれの検査情報１００３を付帯させることも好ましい。例えば、形状変化の調整に適した調整動画は構造物走査動画であり、その動画の検査情報は配管12/06/02という名称で識別できるようになっている。
【０１０５】
図１０Bは検査前調整ステップ９０１での画面表示の例を示す。表示画面１００４上には撮像動画１００５と高解像動画１００６と調整用動画設定１００７とを表示する。調整用動画設定１００７の構成は図10Aの説明と同様である。例えば、画像劣化過程選択ステップ１０１で画像劣化過程として放射線ノイズを選択した場合は、調整用動画選択ステップ９０４においてこの調整用動画設定１００７を参照して放射線ノイズ動画を選択する。
これにより、検査条件を、画像劣化要因毎に、容易に調整し視認性を確認することが可能となる。
【実施例８】
【０１０６】
本実施例では、前記出力ステップは検査条件と高解像動画とを表示する表示ステップを有し、前記合成ステップは高解像動画の評価値を算出し、前記表示ステップは検査条件と評価値とを関係付けて表示する目視検査方法を説明する。
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整する。パラメータの調整毎に新たな検査条件が設定され、新たな高解像動画が作成されることになる。結果として多数の検査条件と超解像動画が存在し、それらを同時に確認することは困難である。よって、どの高解像動画が最も視認性の良いものかを判断することは容易ではない。また、各高解像動画がどのような検査条件で作成されたものかを管理することも必要である。
【０１０７】
そこで本発明では、高解像動画を合成した際にその高解像動画の評価値を算出する。その評価値は、例えば、実施例２で述べたn01の定義に使用する、Yk−G1(G4(X))  の値を用いると良い。形状変化の影響を無視すればこの値が小さいほど画像劣化を補償した高解像動画が作成されたことになる。よって、カメラ移動が小さい場合には、視認性が良い高解像動画が作成されていることが期待できる。また、この評価値と高解像動画とそれに使用した検査条件とをモニタに表示する。
【０１０８】
図１１Aは検査前調整ステップ９０１の別の詳細の例を示す。基本的には図９Bと同様であるが、高解像動画作成ステップ１０４は評価値を算出する。また、動画出力ステップ１０５は表示ステップ１１０１を有し、評価値と高解像動画と検査条件とを表示することを可能とする。
【０１０９】
図１１Bは再確認ステップ９０１の別の詳細の例を示す。基本的には図９Dと同様であるが、高解像動画作成ステップ１０４は評価値を算出する。また、動画出力ステップ１０５は表示ステップ１１０１を有し、評価値と高解像動画と検査条件とを表示することを可能とする。
【０１１０】
図１２Aは動画出力ステップ１０５の表示の例を示す。表示手段１２０１上には撮像動画１２０２と高解像動画１２０３と評価値グラフ１２０４とを有している。図１２Bは評価値グラフ１２０４の拡大図を示す。評価値グラフ１２０４は複数の検査条件を識別する検査条件No.１２０５を横軸に表示し、各検査条件での評価値１２０６を縦軸に表示し、評価値の推移を折れ線グラフ１２０７で表示する。
これにより、表示された高解像動画と検査条件とを関連付けて確認できるとともに、同時に表示された評価値によって高解像動画の視認性の良し悪しを判断する上で参考とすることが可能となる。
【実施例９】
【０１１１】
本実施例では、対象物を撮影して撮影動画を取得する撮影手段と、形状変化とデフォーカスと低解像度とノイズとを含む画像劣化過程から使用する二つ以上の画像劣化過程を選択し、画像劣化要因過程を定義する検査条件を入力する入力手段と、検査条件を用いて撮影動画から高解像動画を作る合成手段と、動画と検査条件を出力する出力手段とを有する目視検査装置を説明する。
実施例１乃至実施例８では、分解能向上処理を導入するために生じる課題を解決するための方法について複数の例を述べたが、それらの方法を実施するのに有効と思われる装置構成の一例について以下で説明する。
【０１１２】
まず検査対象物を撮影する手段を設ける。撮影手段には例えば、光学カメラを使用すると良い。
カメラを対象物に近づけられない場合に生じる低解像度、及びその他に生じる場合があるノイズ、形状変化、デフォーカス等による画像劣化を補償するために分解能向上処理を施す。ここで、分解能向上処理の度合いを調整するのに必要な検査条件を入力可能な入力手段を設ける。入力手段は、例えば、モニタに入力用GUIを設けて、キーボード、マウス等で入力可能とすると良い。入力する検査条件は複数のパラメータからなる。各画像劣化の補償に感度を持つパラメータは定まっているので、画像劣化過程と対応するパラメータを関連付けてGUI上に配置する。即ち、ノイズの画像劣化過程に対しては正常範囲と重みづけとのパラメータを対応付けし、形状変化に対しては誤差許容値パラメータを対応付けし、デフォーカスに対しては分散値パラメータを対応付けし、低解像度に対しては解像度倍率パラメータを対応付けする。さらに各画像劣化過程についてそれを使用するか否か選択可能なスイッチをGUI上に設ける。
【０１１３】
また、入力手段で設定された検査条件を用いて撮影手段で取得した撮影動画に対して分解能向上処理を施し高解像動画を作成する合成手段を設ける。合成手段は、例えば、演算処理器を含むコンピュータから成り、撮影手段、入力手段、出力手段との通信・制御も行う。この合成手段において、入力された検査条件で定義される画像劣化モデルに基づいて分解能向上処理を行う。
【０１１４】
さらに、動画と検査条件とを出力する出力手段を設ける。出力手段は、例えば、HDD等の保存装置やモニタ等の表示装置から成る。HDDには撮影動画及び高解像動画と検査条件とを保存する。撮影動画には調整用撮影動画を含み、検査条件調整に使用できるよう画像劣化過程と関連付けておく。高解像動画は使用した検査条件を確認できるように関連付けておく。モニタは入力手段のモニタと共用であっても良い。モニタには高解像動画を表示しユーザが検査するために提供する。また、検査条件を一緒に表示しても良い。また、撮影動画を一緒に表示しても良い。また、合成手段で算出した評価値を一緒に表示しても良い。これにより分解能向上処理に用いた検査条件、分解能向上処理の目視効果、分解能向上処理の数値評価結果をユーザが確認することが可能となる。
【０１１５】
図１３は目視検査装置の基本的な構成を示す。目視検査装置１３０１は撮影手段１３０２と入力手段１３０３と合成手段１３０４と出力手段１３０５とからなる。撮影手段１３０２は例えばCCDカメラから成り、検査対象を撮影し撮像動画を取得する。撮像動画は合成手段に伝送される。入力手段は例えばモニタ１３０６とキーボード１３０７とマウス１３０８とから成り、モニタ１３０６上に検査条件入力手段を表示しキーボード１３０７とマウス１３０８とを用いてユーザーが検査条件を入力可能とし、検査条件は合成手段に伝送される。合成手段１３０４は例えばPCから成り、撮像動画に対して検査条件を用いて分解能向上処理を施し高解像動画を作成する。撮像動画と高解像動画と検査条件とは出力手段１３０５に伝送される。また合成手段１３０４は検査装置全体を司り、撮影手段１３０２、入力手段１３０３、出力手段１３０５との通信・制御も行う。出力手段１３０５は例えばモニタ１３０９とHDD１３１０とから成り、モニタ１３０９は撮像動画と高解像動画と検査条件とを表示し、HDD１３１０は撮像動画と高解像動画と検査条件とを保存する。また、前述の検査前調整ステップや再確認ステップでは、HDD１３１０は撮像動画と検査条件とを必要に応じて合成手段１３０４に伝送する。なおモニタ１３０６とモニタ１３０９は共通化しても良い。
【０１１６】
図１４は前述の検査条件入力手段の例を示す。検査条件入力手段１４０１は画像劣化過程選択手段４０１とパラメータ入力手段１４０２とから成る。画像劣化過程選択手段４０１の構成及び動作は図４で説明したものと同様である。パラメータ入力手段１４０２は検査条件No.入力手段１４０３とノイズ定義手段５０１と形状変化定義手段６０１とデフォーカス定義手段７０１低解像度定義手段８０１とから成る。検査条件No.入力手段１４０３は複数の検査条件を識別するための番号をユーザが入力可能とする。またそれぞれの定義手段の構成及び動作は図５〜７で説明したものと同様である。
【０１１７】
図１５は前述のモニタ１３０９への表示の例を示す。表示手段１２０１上には撮像動画１５０１と高解像動画１５０２と拡張表示欄１５０３と条件入力ボタン１５０４と画像選択ボタン１５０５と評価値ボタン１５０６とを設ける。ユーザが条件入力ボタンを押した場合は、拡張表示欄１５０３に図１４で示したような検査条件入力手段１４０１を表示する。ユーザが画像選択ボタンを押した場合は、図１０Bに示したように拡張表示欄１５０３に調整用動画設定１００７を表示する。ユーザが評価値ボタンを押した場合は、図１２Aに示したように拡張表示欄１５０３に評価値グラフ１２０４を表示する。それぞれの動作は図１４、１０B、１２で示したのと同様である。
以上の構成により、検査対象物の動画を取得して行う目視検査で想定される画像劣化を適切に補償した高解像動画を得ることが可能となる。
【符号の説明】
【０１１８】
１０１…画像劣化過程選択ステップ、
１０２…検査条件入力ステップ、
１０３…撮影動画入力ステップ、
１０４…高解像動画作成ステップ、
１０５…高解像動画出力ステップ、
１０６…終了ステップ、
１０７…終了ステップ、
２０１…画像劣化モデル、
２０２…高解像動画X、
２０３…低解像度G1、
２０４…低解像動画、
２０５…ノイズG2、
２０６…撮像動画Y、
２０７…分解能向上処理、
２０８…劣化復元式、
３０１…形状変化G3、
３０２…デフォーカスG4、
３０３…デフォーカス動画、
４０１…画像劣化過程の選択手段、
４０２…形状変化、
４０３…デフォーカス、
４０４…低解像度、
４０５…ノイズ、
４０６…チェックボックス、
５０１…放射線ノイズ定義手段、
５０２…標準偏差値σ、
５０３…重みw、
５０４…入力ボックス、
５０５…スライドバー、
５０６…ガウシアン、
５０７…エッジ度、
５０８…Vkの定義関数、
５０９…正常範囲度合Vk、
５１０…通常ノイズ確率分布、
５１１…非通常ノイズ確率分布、
５１２…放射線ノイズの確率分布n01、
６０１…形状変化定義手段、
６０２…誤差許容値a、
６０３…入力ボックス、
６０４…スライドバー、
６０５…Wkの定義関数、
６０６…形状保存度合Wk、
７０１…デフォーカス定義手段、
７０２…分散値d、
７０３…入力ボックス、
７０４…スライドバー、
７０５…G3の定義関数、
８０１…低解像度定義手段、
８０２…分散値σ、
８０３…解像度倍率r、
８０４…入力ボックス、
８０５…スライドバー、
８０６…ローパス関数、
８０７…高解像動画の画素数HD、
８０８…撮像動画のサンプリング数SD、
９０１…検査前調整ステップ、
９０２…検査ステップ、
９０３…再確認ステップ、
９０４…調整用動画選択ステップ、
９０５…検査条件保存ステップ、
９０６…保存ステップ、
１００１…画像劣化過程、
１００２…調整動画、
１００３…検査情報、
１００４…表示画面、
１００５…撮像動画、
１００６…高解像動画、
１００７…調整用動画設定、
１１０１…表示ステップ、
１２０１…表示手段、
１２０２…撮像動画、
１２０３…高解像動画、
１２０４…評価値グラフ、
１２０５…検査条件No.、
１２０６…評価値、
１２０７…折れ線グラフ、
１３０１…目視検査装置、
１３０２…撮影手段、
１３０３…入力手段、
１３０４…合成手段、
１３０５…出力手段、
１３０６…モニタ、
１３０７…キーボード、
１３０８…マウス、
１３０９…モニタ、
１３１０…HDD、
１４０１…検査条件入力手段、
１４０２…パラメータ入力手段、
１４０３…検査条件No.入力手段、
１５０１…撮像動画、
１５０２…高解像動画、
１５０３…拡張表示欄、
１５０４…条件入力ボタン、
１５０５…画像選択ボタン、
１５０６…評価値ボタン、
１６０１…画像劣化過程の選択手段、
１６０２…形状変化、
１６０３…デフォーカス、
１６０４…低解像度、
１６０５…ノイズ、
１６０６…異物、
１６０７…カメラ劣化、
１６０８…チェックボックス、
１６０９…検査条件定義手段、
１６１０…形状変化パラメータ1、
１６１１…形状変化パラメータ2、
１６１２…デフォーカスパラメータ1、
１６１３…デフォーカスパラメータ2、
１６１４…低解像度パラメータ1、
１６１５…低解像度パラメータ1、
１６１６…ノイズパラメータ1、
１６１７…ノイズパラメータ2、
１６１８…異物パラメータ1、
１６１９…異物パラメータ2、
１６２０…カメラ劣化パラメータ1、
１６２１…カメラ劣化パラメータ2、
１６２２…入力ボックス、
１６２３…スライドバー、
１７０１…表示画面、
１７０２…撮像動画、
１７０３…高解像動画。
【図１】
2015087238.tif 000023
【図２】
2015087238.tif 000024
【図３】
2015087238.tif 000025
【図４】
2015087238.tif 000026
【図５】
2015087238.tif 000027
【図６】
2015087238.tif 000028
【図７】
2015087238.tif 000029
【図８】
2015087238.tif 000030
【図９Ａ】
2015087238.tif 000031
【図９Ｂ】
2015087238.tif 000032
【図９Ｃ】
2015087238.tif 000033
【図９Ｄ】
2015087238.tif 000034
【図１０Ａ】
2015087238.tif 000035
【図１０Ｂ】
2015087238.tif 000036
【図１１Ａ】
2015087238.tif 000037
【図１１Ｂ】
2015087238.tif 000038
【図１２Ａ】
2015087238.tif 000039
【図１２Ｂ】
2015087238.tif 000040
【図１３】
2015087238.tif 000041
【図１４】
2015087238.tif 000042
【図１５】
2015087238.tif 000043
【図１６Ａ】
2015087238.tif 000044
【図１６Ｂ】
2015087238.tif 000045
【図１７】
2015087238.tif 000046
【手続補正書】
【提出日】平成26年9月19日(2014.9.19)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
【特許文献１】特開２０１１−１６５０４５号公報