(57)【要約】【課題】供試体の状態を視覚的に観察する。【解決手段】試験中の第１供試体を所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、前記第１指標値を各画素の画素値とする第１画像を生成する第１画像生成部と、試験中の第２供試体を前記所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第２指標値を画素毎に求め、前記第２指標値を各画素の画素値とする第２画像を生成する第２画像生成部と、前記第１画像及び前記第２画像の同一位置の画素値の相違の程度を示す第３指標値を画素毎に求め、前記第３指標値を各画素の画素値とする差分画像を生成する差分画像生成部と、を備える、画像解析装置。【選択図】図７
2020197794.tif 000002
【特許請求の範囲】
【請求項１】
試験中の第１供試体を所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、前記第１指標値を各画素の画素値とする第１画像を生成する第１画像生成部と、
試験中の第２供試体を前記所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第２指標値を画素毎に求め、前記第２指標値を各画素の画素値とする第２画像を生成する第２画像生成部と、
前記第１画像及び前記第２画像の同一位置の画素値の相違の程度を示す第３指標値を画素毎に求め、前記第３指標値を各画素の画素値とする差分画像を生成する差分画像生成部と、
を備える、画像解析装置。
【請求項２】
請求項１に記載の画像解析装置であって、
前記第１指標値は、前記第１供試体の前記各静止画像の同一位置の画素値の標準偏差であり、
前記第２指標値は、前記第２供試体の前記各静止画像の同一位置の画素値の標準偏差である、画像解析装置。
【請求項３】
請求項１に記載の画像解析装置であって、
前記第２画像生成部は、所定タイミングが到来する毎に、前記所定タイミングの到来後一定時間内に撮影された前記第２供試体の複数の静止画像を用いて前記第２画像を生成し、
前記差分画像生成部は、前記第１画像と、前記所定タイミングが到来する毎に生成される前記第２画像と、を用いて、前記所定タイミングが到来する毎の前記差分画像を生成する、画像解析装置。
【請求項４】
請求項１に記載の画像解析装置であって、
前記差分画像を、前記第２供試体を前記所定位置から撮影して得られる静止画像に重ねて表示する差分画像出力部と、
をさらに備える、画像解析装置。
【請求項５】
請求項１に記載の画像解析装置であって、
前記差分画像の各画素の画素値を元に、前記第１供試体及び前記第２供試体の試験中の状態の相違の程度を示す第４指標値を求め、前記第４指標値を所定の判定値と比較することによって前記第２供試体の状態を推定する状態推定部と、
をさらに備える、画像解析装置。
【請求項６】
コンピュータを用いた画像解析方法であって、
前記コンピュータが、
試験中の第１供試体を所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、前記第１指標値を各画素の画素値とする第１画像を生成し、
試験中の第２供試体を前記所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第２指標値を画素毎に求め、前記第２指標値を各画素の画素値とする第２画像を生成し、
前記第１画像及び前記第２画像の同一位置の画素値の相違の程度を示す第３指標値を画素毎に求め、前記第３指標値を各画素の画素値とする差分画像を生成する、画像解析方法。
【請求項７】
コンピュータに、
試験中の第１供試体を所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、前記第１指標値を各画素の画素値とする第１画像を生成する手順と
試験中の第２供試体を前記所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第２指標値を画素毎に求め、前記第２指標値を各画素の画素値とする第２画像を生成する手順と、
前記第１画像及び前記第２画像の同一位置の画素値の相違の程度を示す第３指標値を画素毎に求め、前記第３指標値を各画素の画素値とする差分画像を生成する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置、画像解析方法及びプログラムに関する。
【背景技術】
【０００２】
通常、製品の出荷前にはその製品の使用環境に応じた様々な試験が行われる。
【０００３】
例えば振動試験では、製品すなわち供試体に対して所定の振動を与えた上で、破損箇所の有無を確認する外観検査や、機能不良の有無を確認する機能検査などが行われる。また、供試体の外観や機能に問題がなくても内部で損傷や異変が発生している場合もあるため、振動周波数のスペクトル解析を行って供試体の振動特性の検査を行う場合もある（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１８−１００９４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、たとえ外部から見えない場所で供試体に異常が発生している場合であってもその異常を外部から視覚的に検査できれば、周波数解析等の検査を行わなくても供試体の状態が分かり、振動試験を効率的に行うことができる。
【０００６】
本発明はこのような課題を鑑みてなされたものであり、供試体を撮影した画像を解析し、供試体の状態を視覚的に観察することを可能とする画像解析装置、画像解析方法及びプログラムを提供することを目的の一つとする。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る画像解析装置は、試験中の第１供試体を所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、前記第１指標値を各画素の画素値とする第１画像を生成する第１画像生成部と、試験中の第２供試体を前記所定位置から時系列に撮影して得られる複数の静止画像から、各静止画像の同一位置の画素値から定まる第２指標値を画素毎に求め、前記第２指標値を各画素の画素値とする第２画像を生成する第２画像生成部と、前記第１画像及び前記第２画像の同一位置の画素値の相違の程度を示す第３指標値を画素毎に求め、前記第３指標値を各画素の画素値とする差分画像を生成する差分画像生成部と、を備える。
【０００８】
その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄の記載、及び図面の記載等により明らかにされる。
【発明の効果】
【０００９】
供試体の状態を視覚的に観察することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】検査システムの全体構成図である。
【図２】画像解析装置のハードウェア構成を示す図である。
【図３】記憶装置を示す図である。
【図４】画像解析装置の機能構成を示す図である。
【図５】第１画像を生成する様子を示す図である。
【図６】第２画像を生成する様子を示す図である。
【図７】第１画像と第２画像から差分画像を生成する様子を示す図である。
【図８Ａ】差分画像の時間経過を示す図である。
【図８Ｂ】差分輝度値の最大値の時間経過を示す図である。
【図８Ｃ】差分輝度値の平均値の時間経過を示す図である。
【図８Ｄ】差分輝度値の閾値以上の割合の時間経過を示す図である。
【図９】第２入力画像と差分画像を重ねて表示する様子を示す図である。
【図１０】画像解析装置の処理の流れを示すフローチャートである。
【図１１】第１画像と第２画像から差分画像を生成する様子を示す図である。
【発明を実施するための形態】
【００１１】
本明細書および添付図面の記載により、少なくとも以下の事項が明らかとなる。以下、本発明をその一実施形態に即して添付図面を参照しつつ説明する。
【００１２】
＝＝全体構成＝＝
図１に、本発明の一実施形態に係る画像解析装置２００を用いて、試験中の供試体１００の状態を視覚的に観察する検査システム１０００の全体構成を示す。本実施形態では供試体１００に対して振動試験を行う場合を例に説明する。
【００１３】
検査システム１０００は、振動試験装置３００とカメラ４００と画像解析装置２００とを備えて構成される。
【００１４】
振動試験装置３００は、試験台に設置された供試体１００に対して、供試体１００の使用環境に応じて規定される試験条件（振動周波数や振幅、振動波形、加速度、振動方向、試験時間など）で振動を与える装置である。
【００１５】
供試体１００は、試験の対象となる物品を総称したものであり、例えば工場で生産される製品である。また以下の説明では、供試体１００を第１供試体１０１あるいは第２供試体１０２とも記載する。第１供試体１０１は、試験結果の合格の基準とされる供試体１００を表し、第２供試体１０２は、試験結果の判定対象の供試体１００を表す。つまり、第２供試体１０２の合否が、第１供試体１００を基準に判定される。
【００１６】
カメラ４００は、第１供試体１０１及び第２供試体１０２を所定位置から時系列に撮影して複数の静止画像を有する画像データを出力する装置である。本実施形態に係るカメラ４００は、供試体１００を動画撮影して動画データを出力するが、静止画を撮影して静止画像データを出力する装置でもよい。
【００１７】
カメラ４００は、振動試験装置３００に設けられる試験台に設置される供試体１００を同じ位置から同じ条件で撮影できるように、供試体１００からの相対位置が一定となる所定位置に固定されると共に、撮影条件（倍率、明るさ、絞り、色合いなど）も固定されている。またカメラ４００が検知する光（電磁波）の波長域は可視光の領域に限らず、赤外線や紫外線、Ｘ線などの領域でもよく、さらにはこれらの領域を跨いでもよい。さらにカメラ４００は、ＲＧＢ（Red,Green,Blue）等の複数の波長域で光を検知し、カラー画像を生成するものでもよいし、白黒画像を生成するものでもよい。さらにカメラ４００には、所定の周波数帯の光（電磁波）のみを透過するバンドパスフィルタや偏光フィルタ等のフィルタが装着されていてもよい。
【００１８】
画像解析装置２００は、第１供試体１０１及び第２供試体１０２を撮影して得られる画
像データ（動画データや静止画像データ）に含まれる複数の静止画像を解析し、第１供試体１０１を撮影して得られる第１画像６１０（後述）と、第２供試体１０２を撮影して得られる第２画像６２０（後述）と、を比較することで、第２供試体１０２の振動特性に異常がないかを検査する。以下、詳細に述べる。
【００１９】
＝＝画像解析装置＝＝
まず画像解析装置２００のハードウェア構成を図２を参照しながら説明する。本実施形態に係る画像解析装置２００は、ＣＰＵ（Central Processing Unit）２１０、メモリ２
２０、通信装置２３０、記憶装置２４０、入力装置２５０、出力装置２６０、及び記録媒体読取装置２７０を備えて構成されるコンピュータ等の情報処理装置であり、パソコンやサーバ、クラウドコンピュータ、あるいは専用の電子機器ないしは他の機器に組み込まれて用いられる電子機器等により具現化される。
【００２０】
記憶装置２４０は、例えばハードディスクやＳＳＤ（Solid State Drive）、フラッシ
ュメモリ等の不揮発性のデータ保存装置であり、図３に示すように、画像解析装置２００によって実行あるいは処理される画像解析装置制御プログラム７００や、第１画像６１０、第２画像６２０、差分画像６３０等の各種のデータを格納する。
【００２１】
＜第１画像＞
第１画像６１０は、図５に示すように、振動試験中の第１供試体１０１をカメラ４００によって時系列に撮影して得られる複数の静止画像（複数の第１入力画像６１１）から生成される画像であり、各第１入力画像６１１の同一位置の画素値から定まる第１指標値を各画素の画素値とする画像である。本実施形態では、第１指標値は画素値のばらつきの程度に応じて定まる値、例えば標準偏差としている。
【００２２】
本実施形態では、第１入力画像６１１はカメラ４００によって生成された動画データ６００内の各フレームの静止画像である。そのため、例えば動画データ６００のフレームレートが３０ｆｐｓ（毎秒３０フレーム）であり、カメラ４００の撮影時間が１秒間とした場合に、３０枚の第１入力画像６１１が得られる。
【００２３】
そして振動試験中の第１供試体１０１は所定の振幅（例えば１センチメートル）で振動しているため、３０枚の第１入力画像６１１の同一位置の画素を比べると、第１供試体１０１の背景の部分の画素値は変化しないのに対し、第１供試体１０１が写りこんでいる部分の画素値は変動していることが分かる。また第１供試体１０１が映り込んでいる部分であっても、場所によって振幅や振動方向が違うような場合などには、場所によって画素値の変動量が変わる。
【００２４】
そこで、画像解析装置２００は、各第１入力画像６１１の各画素の画素値から定まる指標値（第１指標値）として、画素毎に画素値の標準偏差を求め、この第１指標値を各画素の画素値とする新たな画像を第１画像６１０として生成する。
【００２５】
そのため、第１画像６１０は、第１供試体１０１の振動の仕方（振れ方や振幅、方向など）によって様々な態様となる。例えば、大きく振動する場所は画素値のばらつきが大きく、振動が小さな場所は画素値のばらつきも小さい。なお上述したように、本実施形態では、第１供試体１０１は振動特性の基準とされるものである。そのため、第１供試体１０１の振動の仕方を表す第１画像６１０が、他の供試体１００（例えば第２供試体１０２）の振動試験の合否の基準とされる。
【００２６】
＜第２画像＞
第２画像６２０は、図６に示すように、振動試験中の第２供試体１０２をカメラ４００
によって時系列に撮影して得られる複数の静止画像（複数の第２入力画像６２１）から生成される画像であり、各第２入力画像６２１の同一位置の画素値から定まる第２指標値（第１指標値と同種の指標値であり、本実施形態では標準偏差）を各画素の画素値とする画像である。
【００２７】
第２入力画像６２１も第１入力画像６１１と同様に、カメラ４００によって生成された動画データ６００の各フレームの静止画像である。そのため、例えば動画データ６００のフレームレートが３０ｆｐｓ（毎秒３０フレーム）であり、カメラ４００の撮影時間が１秒間とした場合に、３０枚の第２入力画像６２１が得られる。
【００２８】
そして３０枚の第２入力画像６２１の同一位置の画素を比べると、第２供試体１０２の背景の部分の画素値は変化しないのに対し、第２供試体１０２が写りこんでいる部分の画素値は変動していることが分かる。また第２供試体１０２が映り込んでいる部分であっても、場所によって振幅や振動方向が違うような場合などには、場所によって画素値の変動量が変わる。
【００２９】
そこで、画像解析装置２００は、各第２入力画像６２１の各画素の画素値から定まる指標値（第２指標値）として、画素毎に画素値の標準偏差を求め、この第２指標値を各画素の画素値とする新たな画像を第２画像６２０として生成する。
【００３０】
そのため、第２画像６２０は、第２供試体１０２の振動の仕方（振れ方や振幅、方向など）によって様々な態様となる。例えば、大きく振動する場所は画素値のばらつきが大きく、振動が小さな場所は画素値のばらつきも小さい。
【００３１】
そして振動試験装置３００は、第１供試体１０１と同じ試験条件で第２供試体１０２を加振しているため、第１画像６１０と第２画像６２０とを比較して、これらの画像の差異がないならば、第２供試体１０２の振動の仕方は第１供試体１０１と同等であり、第２供試体１０２の状態は、第１供試体１０１と同等であると推定することができる。一方、第２供試体１０２の振動の仕方が第１供試体１０１と同等であると言えない場合には、第２供試体１０２の状態が、第１供試体１０１と何らかの点で相違していると推定することができる。
【００３２】
＜差分画像＞
差分画像６３０は、第１画像６１０及び第２画像６２０の同一位置の画素値の相違の程度を示す第３指標値（例えば差分の絶対値や差分の２乗値など）を各画素の画素値とすることにより、第１供試体１０１と第２供試体１０２の振動の仕方の違いを可視化した画像である。本実施形態に係る差分画像６３０は、図７に示すように、第１画像６１０及び第２画像６２０の同一位置の画素値の差分（絶対値）を各画素の画素値としている。
【００３３】
なお本実施形態に係る画像解析装置２００は、第１画像６１０を背景モデルとし、第２画像６２０を前景モデルとして、公知の背景差分法（単純背景差分法や統計的背景差分法など）を用いることにより差分画像６３０を生成している。
【００３４】
また画像解析装置２００は、第３指標値を二値化したものを各画素の画素値として差分画像６３０を生成してもよい。この場合、差分画像６３０は、第１画像６１０及び第２画像６２０の同一位置の画素値の差分（絶対値）が所定の基準値よりも大きいか否かを表すことになる。このような態様により、第１供試体１０１と第２供試体１０２との振動の仕方の違いをより明確に可視化することが可能となる。
【００３５】
図３に戻って、記憶装置２４０に記憶されている画像解析装置制御プログラム７００や
各種のデータがメモリ２２０に読み出されてＣＰＵ２１０によって実行あるいは処理されることにより、画像解析装置２００の各種機能が実現される。例えば画像解析装置２００は、第１画像６１０と第２画像６２０とを用いて差分画像６３０を生成し、差分画像６３０を用いて第２供試体１０２の振動特性に異常がないかを検査する。
【００３６】
また画像解析装置制御プログラム７００は、本実施形態に係る画像解析装置２００が有する各種機能を実現するためのプログラムを総称しており、例えば、画像解析装置２００上で動作するアプリケーションプログラムやＯＳ（Operating System）、種々のライブラリ等を含む。
【００３７】
図２に戻って、記録媒体読取装置２７０は、ＳＤカードやＤＶＤ等の記録媒体８００に記録された各種のプログラムやデータを読み取り、記憶装置２４０に格納する。
【００３８】
通信装置２３０は、インターネットや電話網等のネットワーク５００を介して、不図示の他のコンピュータと各種プログラムやデータの授受を行う。例えば他のコンピュータに上述した画像解析装置制御プログラム７００を格納しておき、画像解析装置２００がこのコンピュータから画像解析装置制御プログラム７００をダウンロードするようにすることができる。
【００３９】
あるいは通信装置２３０は、ネットワーク５００を介してカメラ４００と通信可能に接続され、カメラ４００から画像データを取得するようにすることもできる。
【００４０】
入力装置１５０は、データの入力を受け付ける装置であり、各種ボタンやスイッチ、キーボード、タッチパネルディスプレイ上でのタッチ位置を検出するタッチセンサ、マイクなどの入力インタフェース、加速度センサ、温度センサ、ＧＰＳ受信機やコンパスなどの位置検出センサなどを含む。また画像解析装置２００は、カメラ４００から出力される画像データを入力装置１５０を介して取得してもよい。あるいは画像解析装置２００は、カメラ４００そのものを入力装置１５０として備えてもよい。
【００４１】
出力装置１６０は、例えば液晶ディスプレイなどの表示装置やプリンタ、スピーカ、バイブレータ、照明などの出力ユーザインタフェースである。
【００４２】
＜機能構成＞
次に画像解析装置２００の機能構成図の一例を図４に示す。本実施形態に係る画像解析装置２００は、第１画像生成部２０１、第２画像生成部２０２、差分画像生成部２０３、差分画像出力部２０４、状態推定部２０５の各機能を含む。
【００４３】
これらの各機能は、画像解析装置２００のハードウェアによって本実施形態に係る画像解析装置制御プログラム７００が実行されることにより実現される。
【００４４】
第１画像生成部２０１は、試験中の第１供試体１０１を所定位置から時系列に撮影して得られる複数の静止画像（第１入力画像６１１）を取得し、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、第１指標値を各画素の画素値とする第１画像６１０を生成する。
【００４５】
このような態様により、第１供試体１０１が試験によって受けた影響を、複数の第１入力画像６１１上の画素値を用いて第１指標値として捉え、第１画像６１０として視覚化することが可能になる。
【００４６】
なお第１指標値は、画素値の標準偏差や分散のような画素値のばらつきの程度に応じて
定まる値をはじめ、画素値の最大値、最小値、平均値、最大値と最小値との差、初期値と終了値との差など、様々な値を採用することができ、試験の内容や第１供試体１０１の特徴に応じて適切なものを選択するとよい。
【００４７】
また上述したように、本実施形態ではカメラ４００は供試体１００を動画撮影するため、第１画像生成部２０１は、第１供試体１０１を動画として撮影して得られる動画データ６００内の各フレームの静止画像を第１入力画像６１１として用いて第１画像６１０を生成する。このような態様により、画像解析装置２００は短時間に多数の静止画像を取得することができるので、効率的に第１画像６１０を生成することが可能となる。
【００４８】
第２画像生成部２０２は、試験中の第２供試体１０２を所定位置から時系列に撮影して得られる複数の静止画像（第２入力画像６２１）を取得し、各静止画像の同一位置の画素値に応じて定まる第２指標値を画素毎に求め、第２指標値を各画素の画素値とする第２画像６２０を生成する。
【００４９】
このような態様により、第２供試体１０２が試験によって受けた影響を、複数の第２入力画像６２１上の画素値を用いて第２指標値として捉え、第２画像６２０として視覚化することが可能になる
第２指標値は、第１指標値と同様に、標準偏差や分散のような画素値のばらつきの程度に応じて定まる値をはじめ、最大値、最小値、平均値、最大値と最小値との差、初期値と終了値との差など、様々な値を採用することができ、試験の内容や第２供試体１０２の特徴に応じて適切なものを選択するとよい。
【００５０】
そして第２画像生成部２０２は、第１画像生成部２０１と同様に、第２供試体１０２を動画として撮影して得られる動画データ６００内の各フレームの複数の静止画像を第２入力画像６２１として用いて第２画像６２０を生成する。このような態様により、画像解析装置２００は短時間に多数の静止画像を取得することができるので、効率的に第２画像６２０を生成することが可能となる。
【００５１】
また詳細は後述するが、第２画像生成部２０２は、所定タイミングが到来する毎に、所定タイミングの到来後一定時間内に撮影された第２供試体１０２の複数の静止画像（第２入力画像６２１）を用いて第２画像６２０を生成するようにしてもよい。このような態様により、所定タイミングが到来するごとの第２画像６２０を比較することで、第２供試体１０２を撮影した静止画像の時間変化を視覚的に捉えることが可能となる。
【００５２】
差分画像生成部２０３は、第１画像６１０及び第２画像６２０の同一位置の画素値の相違の程度を示す第３指標値（例えば差分の絶対値）を画素毎に求め、第３指標値を各画素の画素値とする差分画像６３０を生成する。このような態様により、第１供試体１０１及び第２供試体１０２の違いを視覚化することが可能になる。
【００５３】
つまり、もし仮に、第１供試体１０１及び第２供試体１０２が、同じ試験の影響の受け方をするのであれば、試験中の第１供試体１０１を撮影した静止画像（第１入力画像６１１）上に生じる変化と、試験中の第２供試体１０２を撮影した静止画像（第２入力画像６２１）上に生じる変化は同じになるから、第１画像６１０と第２画像６２０は同じになる。そのため、差分画像６３０を観察することによって、第１供試体１０１と第２供試体１０２の試験の影響の受け方の違いを捉えることができる。そして、本実施形態では第１供試体１０１を基準とすることにより、第２供試体１０２に異常が生じていないかを検査することが可能となる。
【００５４】
なお第３指標値は、例えば第１画像６１０と第２画像６２０の同一位置の画素値の差の
絶対値（差分）や、差分の２乗、あるいはこの差分を所定値と比較することにより二値化した値とすることができる。
【００５５】
また差分画像生成部２０３は、上述した所定タイミングが到来するごとに第２画像６２０が生成される場合には、それぞれの第２画像６２０について、第１画像６１０との差分画像６３０を生成することもできる。このような態様によれば、第１供試体１０１と第２供試体１０２の差分の時間変化を的確に捉えることが可能となる。例えば試験開始後どの時点で第２供試体１０２に異常が発生したかを視覚的に観察することが可能となる。
【００５６】
図８Ａから図８Ｄに示す例を参照しながらもう少し詳しく説明する。図８Ａ〜図８Ｄに示す例では、第２供試体１０２に振動試験を実施する際に、第２画像生成部２０２は所定時間ごとに（例えば１分毎に）第２画像６２０を生成し、それに伴い、差分画像生成部２０３も所定時間ごと（１分毎）に差分画像６３０を生成している。
【００５７】
そして図８Ａには、試験開始から１０分後に生成された差分画像６３０と４０分後に生成された差分画像６３０が例示されている。このような態様により、試験開始後の差分画像６３０の変化を視覚的に確認することができる。
【００５８】
また差分画像生成部２０３は、第２画像６２０が生成されるごとに（つまり１分毎に）、第１画像６１０と第２画像６２０を解析し、図８Ｂから図８Ｄに示すように、差分輝度値（差分輝度値は、第１画像６１０と第２画像６２０の同一位置の画素値の差分に対応する）の最大値（図８Ｂ）、差分輝度値の平均値（図８Ｃ）、差分輝度値が閾値（例えば差分輝度値の平均値）以上である割合（図８Ｄ）を算出している。このような態様により、試験担当者は、振動試験中に第２供試体１０２にどのような変化が生じたのかを詳細に分析することが可能となる。
【００５９】
例えば、図８Ｂの試験開始後３０分〜３２分にかけて差分輝度値の最大値が急激に大きくなっているが、このような場合には、第２供試体１０２内のある特定の領域で、短い時間に何か大きな変化が発生した可能性が高い。また、図８Ｂの試験開始後３２分以降のように、差分輝度値の最大値が徐々に大きくなっている場合には、第２供試体１０２内の特定の領域で何かゆっくりとした変化が発生している可能性が高い。
【００６０】
また図８Ｃの試験開始後３９分から４１分にかけて、差分輝度値の平均値が急激に大きくなった後元に戻っているが、このような場合には、一時的に第２供試体１０２の全体の振動特性が変化したか、もしくは、ある局所的に振動特性が一時的に大きく変化した可能性が高いと分析できる。また図示はしていないが、差分輝度値の平均値が徐々に大きくなった場合には、第２供試体１０２の振動特性が全体的に徐々に変化している可能性が高いと分析できる。
【００６１】
また図８Ｄの試験開始後３９分から４１分にかけて、差分輝度値が閾値以上である割合が急激に大きくなった後元に戻っているが、このような場合には、一時的に第２供試体１０２の全体の振動特性が変化したか、例えばカメラ４００の前に、人など製品以外のものが一時的に写りこんだ可能性が高いと分析できる。また図示はしていないが、差分輝度値が閾値以上である割合が徐々に大きくなった場合には、第２供試体１０２の振動特性が全体的に緩やかに変化したか、徐々に振幅が大きくなってきた可能性が高いと分析できる。
【００６２】
さらに、図８Ｂ〜図８Ｄの結果を組み合わせることにより、さらに詳細に分析をすることができる。例えば、試験開始後３０分〜３２分にかけて、差分輝度値の平均値（図８Ｃ）及び最大輝度値の閾値以上の割合（図８Ｄ）はほとんど変化していないにも関わらず、最大輝度値（図８Ｂ）が急激に大きくなっていることから、第２供試体１０２の振動特性
が局所的に変化した（振幅の変化や、部品脱落、亀裂発生など）可能性が高いと推測することができる。
【００６３】
また例えば、試験開始後３９分〜４１分にかけて、最大輝度値（図８Ｂ）はほとんど変化していないにも関わらず、差分輝度値の平均値（図８Ｃ）及び最大輝度値の閾値以上の割合（図８Ｄ）が急激に大きくなっていることから、第２供試体１０２の振動特性が全体的に変化した（振幅の変化やずれなど）可能性が高いと推測することができる。
【００６４】
図４に戻って、差分画像出力部２０４は、差分画像生成部２０３によって生成された差分画像６３０を出力装置２６０に出力する。本実施形態では、差分画像出力部２０４は、第２供試体１０２を所定位置から撮影して得られる静止画像（第２入力画像６２１）に差分画像６３０を重ねて表示する。その様子を図９に示す。このように、差分画像６３０を元の第２供試体１０２の画像（第２入力画像６２１）に重ねて表示することにより、差分が発生した箇所を認識しやすくでき、検査効率を向上させることができる。
【００６５】
状態推定部２０５は、差分画像６３０の各画素の画素値を元に、第１供試体１０１及び第２供試体１０２の試験中の状態の相違の程度を示す第４指標値を求め、第４指標値を所定の判定値と比較することによって第２供試体１０２の状態を推定する。
【００６６】
例えば状態推定部２０５は、差分画像６３０の各画素の画素値の合計値を第４指標値として求め、この合計値が上記の判定値未満である場合には第２供試体１０２は正常であると判定し、判定値以上である場合には異常であると判定する。あるいは状態推定部２０５は、差分画像６３０の画素値の最大値を第４指標値として求め、この最大値が判定値未満である場合には第２供試体１０２は正常であると判定し、判定値以上である場合には異常であると判定するようにしてもよい。
【００６７】
このように、第１供試体１０１と第２供試体１０２の試験中の状態の違いを第４指標値として数値化し、この第４指標値をもとに第２供試体１０２の状態を推定することにより、第２供試体１０２の内部の状態を、検査員の主観によらず客観的に推定することが可能となる。
【００６８】
＝＝画像解析方法＝＝
次に、本実施形態に係る画像解析装置２００による画像解析方法について、図１０を参照しながら説明する。
【００６９】
まず、画像解析装置２００は、振動試験の合否判定の基準とする供試体１００（第１供試体１０１）を振動させた様子を撮影した動画像（動画データ６００）から、この動画像に含まれる数秒分（例えば１秒分）の複数の静止画像（第１入力画像６１１）を取得する（S1000）。つまり画像解析装置２００は、第１供試体１０１を所定位置から時系列に撮
影して得られる複数の静止画像（第１入力画像６１１）を取得する。そして画像解析装置２００は、この動画像内の各フレームの静止画像（複数の第１入力画像６１１）をグレースケールに変換する（S1010）。
【００７０】
次に画像解析装置２００は、これらの第１入力画像６１１から背景モデル（第１画像６１０）を作成する（S1020）。つまり、画像解析装置２００は、複数の静止画像（第１入
力画像６１１）から、各静止画像の同一位置の画素値を用いて第１指標値（本実施形態では標準偏差）を画素毎に求め、これらの第１指標値を各画素の画素値とする第１画像６１０を生成する。
【００７１】
続いて、画像解析装置２００は、検査対象の供試体１００（第２供試体１０２）を振動
させた様子を撮影した動画像（動画データ６００）の取得を開始する（S1030）。
【００７２】
そして画像解析装置２００は、第２供試体１０２を撮影した動画像が終了するまで、以下に説明するS1040〜S1110の処理を繰り返す。本実施形態では、S1040〜S1110までの処理は、所定時間ごと（例えば１分毎）に繰り返される。
【００７３】
まず画像解析装置２００は、S1030において取得した動画像から数秒分（例えば１秒分
）の複数の静止画像（第２入力画像６２１）を取得して、グレースケールに変換した後、これらの第２入力画像６２１から前景モデル（第２画像６２０）を作成する（S1050）。
つまり、画像解析装置２００は、第２供試体１０２を所定位置から時系列に撮影して得られる複数の静止画像（第２入力画像６２１）から、各静止画像の同一位置の画素値を用いて第２指標値（本実施形態では標準偏差）を画素毎に求め、これらの第２指標値を各画素の画素値とする第２画像６２０を生成する。
【００７４】
そして画像解析装置２００は、背景差分法を用いて、上記背景モデル（第１画像６１０）と前景モデル（第２画像６２０）との差分を生成し、出力する（S1060）。つまり、画
像解析装置２００は、第１画像６１０及び第２画像６２０の同一位置の画素値の相違の程度を示す第３指標値（例えば画素値の差分）を画素毎に求め、これらの第３指標値を各画素の画素値とする差分画像６３０を生成し、出力する。
【００７５】
そして画像解析装置２００は、差分画像６３０の各画素の画素値を元に、第１供試体１０１と第２供試体１０２との振動特性の相違の程度を示す第４指標値（例えば画素値の合計値）を求め、この第４指標値を所定の判定値と比較する（S1070）。
【００７６】
画像解析装置２００は、第４指標値が上記判定値を超えている場合には、第２供試体１０２は異常であると判定し、アラートを出力する（S1080）。
【００７７】
一方、画像解析装置２００は、第４指標値が上記判定値を超えていない場合には、第２供試体１０２は異常ではないと判定する。
【００７８】
そして画像解析装置２００は、差分画像６３０を、第２供試体１０２を所定位置から撮影して得られる静止画像（第２入力画像６２１）に重ねて差分発生個所活性化画像を生成し、これを出力装置２６０に表示する（S1090）。
【００７９】
また画像解析装置２００は、差分発生時系列プロットを作成して出力する（S1110）。
つまり、画像解析装置２００は、差分輝度値の最大値や、差分輝度値の平均値、差分輝度値が閾値以上である割合のような、供試体１００の振動特性を分析するための指標値を算出し、これらの指標値を、図８Ａ〜図８Ｄに示したように、差分発生時系列プロットとしてグラフ化して出力する。
【００８０】
そして画像解析装置２００は、１分が経過したら再びS1050からの処理を繰り返す（S1110）。
【００８１】
このような態様により、第１供試体１０１と第２供試体１０２との振動特性の違いを外部から視認することが可能になる。本実施形態では第１供試体１０１の振動特性を基準として、第２供試体１０２の振動特性に異常がないかを検査することができる。
【００８２】
またS1110のように、差分発生時系列プロットを生成して出力することにより、第２供
試体１０２の振動特性の時間変化をより的確に捉えることが可能となり、また、振動試験中に第２供試体１０２にどのような変化が生じたのかを詳細に分析することも可能となる
。
【００８３】
＝＝様々な実施形態＝＝
上記実施形態に係る画像解析装置２００は、下記のような態様とすることもできる。
【００８４】
例えば、画像解析装置２００は、試験中の第１供試体１０１を所定位置から時系列に撮影して得られる複数の静止画像（第１入力画像６１１）から、各静止画像の同一位置の画素値から定まる第１指標値を画素毎に求め、前記第１指標値を各画素の画素値とする第１画像６１０を生成する第１画像生成部２０１と、第２供試体１０２を前記所定位置から時系列に撮影して得られる複数の静止画像（第２入力画像６２１）から、各静止画像の同一位置の画素値から定まる第２指標値を画素毎に求め、前記第２指標値を各画素の画素値とする第２画像６２０を生成する第２画像生成部２０２と、前記第１画像６１０及び前記第２画像６２０の同一位置の画素値の相違の程度を示す第３指標値を画素毎に求め、前記第３指標値を各画素の画素値とする差分画像６３０を生成する差分画像生成部２０３とを備えるようにしてもよい。
【００８５】
このよう態様によれば、試験中の第１供試体１０１及び第２供試体１０２の状態を視覚的に観察することが可能になる。そして第１供試体１０１を試験結果を基準とすることで、第２供試体１０２の異常を判定することが可能となる。
【００８６】
ここで、前記第１指標値は、前記第１供試体１０１の前記各静止画像の同一位置の画素値の標準偏差であり、前記第２指標値は、前記第２供試体１０２の前記各静止画像の同一位置の画素値の標準偏差である、としてもよい。
【００８７】
このような態様によれば、第１供試体１０１及び第２供試体１０２に振動試験を行う場合のそれぞれの振動の仕方を、第１画像６１０及び第２画像６２０として可視化して確認することが可能となる。またこれらの第１画像６１０及び第２画像６２０から生成される差分画像６３０を観察することにより、第１供試体１０１と第２供試体１０２の振動の仕方の違いを確認することができる。
【００８８】
また前記第２画像生成部２０２は、所定タイミングが到来する毎に、前記所定タイミングの到来後一定時間内に撮影された前記第２供試体１０２の複数の静止画像を用いて前記第２画像６２０を生成し、前記差分画像生成部２０３は、前記第１画像６１０と、前記所定タイミングが到来する毎に生成される前記第２画像６２０と、を用いて、前記所定タイミングが到来する毎の前記差分画像６３０を生成する、ようにしてもよい。
【００８９】
このような態様によれば、所定タイミングが到来するごとの第２画像６２０あるいは差分画像６３０を比較することで、第２供試体１０２の状態ないしは性質の時間変化を視覚的に捉えることが可能となる。また試験開始後どの時点で第２供試体１０２に異常が発生したかを視覚的に観察することが可能となる。
【００９０】
また画像解析装置２００は、前記差分画像６３０を、前記第２供試体１０２を前記所定位置から撮影して得られる静止画像（第２入力画像６２１）に重ねて表示する差分画像出力部２０４を備えてもよい。
【００９１】
このような態様によれば、差分が発生した箇所を認識しやすくでき、検査効率を向上させることができる。
【００９２】
また画像解析装置２００は、前記差分画像６３０の各画素の画素値を元に、前記第１供試体１０１に対する前記第２供試体１０２の状態の相違の程度を示す第４指標値を求め、
前記第４指標値を所定の判定値と比較することによって前記第２供試体１０２の状態を推定する状態推定部を備えるようにしてもよい。
【００９３】
このような態様によれば、第２供試体１０２の内部の状態を、検査員の主観によらず客観的に推定することが可能となる。
【００９４】
なお、上述した実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物も含まれる。
【００９５】
例えば、上記実施形態では、供試体１００に対して振動試験を行う場合を例に説明したが、それ以外にも例えば図１１に示すように、供試体１００を撮影した静止画像（第１入力画像６１１、第２入力画像６２１）内に何らかの定常的に変化する部分（Ｂで示す部分）が写りこんでいるような態様であってもよい。
【００９６】
つまり図１１において、第１入力画像６１１には、Ａで示す第１供試体１０１と、Ｂで示す何らかの変化部分が写りこんでいるが、第１画像生成部２０１は、各第１入力画像６１１の同一位置の画素値から定まる第１指標値として画素値の最大値を画素毎に求め、この第１指標値を各画素の画素値とする第１画像６１０（背景モデル）を生成するようにする。
【００９７】
このようにすると、第１画像６１０には、各第１入力画像６１１に写りこんでいる第１供試体１０１に加えて、定常的変化部分（Ｂ）が全て合成される。
【００９８】
一方、第２画像生成部２０２も、各第２入力画像６２１の同一位置の画素値から定まる第２指標値として画素値の最大値を画素毎に求め、この第２指標値を各画素の画素値とする第２画像６２０（前景モデル）を生成するようにする。
【００９９】
このようにすると、第２画像６２０には、各第２入力画像６２１に写りこんでいる第２供試体１０２に加えて、定常的変化部分（Ｂ）、さらに異常部分（Ｃ）が全て合成される。
【０１００】
そして、差分画像生成部２０３が、第１画像６１０と第２画像６２０の同一位置の画素値の差分（第３指標値）を各画素の画素値とする差分画像６３０を生成すると、第２入力画像６２１及び第２画像６２０のみに写っている異常部分（Ｃで示す部分）のみを抽出することができる。
【０１０１】
またその他、例えば供試体１００に対して加熱試験を行う場合に、カメラ４００によって第１供試体１０１及び第２供試体１０２から放射される赤外線を検知し、それぞれの表面温度分布の時間変化の態様の違いを差分画像６３０として捉え、第２供試体１０２の異常を検知するような態様も可能である。
【符号の説明】
【０１０２】
１００    供試体
１０１    第１供試体
１０２    第２供試体
２００    画像解析装置
２０１    第１画像生成部
２０２    第２画像生成部
２０３    差分画像生成部
２０４    差分画像出力部
２０５    状態推定部
２１０    ＣＰＵ
２２０    メモリ
２３０    通信装置
２４０    記憶装置
２５０    入力装置
２６０    出力装置
２７０    記録媒体読取装置
３００    振動試験装置
４００    カメラ
５００    ネットワーク
６００    動画データ
６１０    第１画像
６１１    第１入力画像
６２０    第２画像
６２１    第２入力画像
６３０    差分画像
７００    画像解析装置制御プログラム
８００    記録媒体
１０００  検査システム
【図１】
2020197794.tif 000003
【図２】
2020197794.tif 000004
【図３】
2020197794.tif 000005
【図４】
2020197794.tif 000006
【図５】
2020197794.tif 000007
【図６】
2020197794.tif 000008
【図７】
2020197794.tif 000009
【図８Ａ】
2020197794.tif 000010
【図８Ｂ】
2020197794.tif 000011
【図８Ｃ】
2020197794.tif 000012
【図８Ｄ】
2020197794.tif 000013
【図９】
2020197794.tif 000014
【図１０】
2020197794.tif 000015
【図１１】
2020197794.tif 000016