(57)【要約】  複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析装置であって、同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する観察対象物判定手段と、を備える動画像解析装置。
2013088827.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析装置であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する観察対象物判定手段と、
を備える動画像解析装置。
【請求項２】
請求項１に記載の動画像解析装置であって、
前記観察対象物判定手段は、前記記憶手段に格納された差分データと、予め定められた比較データを母集団としたマハラノビス距離の大小によって、前記差分データがいずれの母集団のクラスタに属するか否かを判定するクラスタリング分析を用いて各画素が前記観察対象物に属するか否かを判定する手段である、
動画像解析装置。
【請求項３】
請求項１又は２に記載の動画像解析装置であって、
前記観察対象物判定手段による判定結果に基づき得られる前記画像中の評価領域に含まれる前記観察対象物の割合に基づいて、前記観察対象物を生じさせる観察対象が異常状態であるか否かを判定する異常状態判定手段を備える動画像解析装置。
【請求項４】
観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析装置であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
前記画像中の評価領域における、前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する異常状態判定手段と、
を備える動画像解析装置。
【請求項５】
請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
【数４】
2013088827.tif 000011
において１で表された差分要素のみを算出する手段である、
動画像解析装置。
【請求項６】
請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
【数５】
2013088827.tif 000012
において１で表された差分要素のみを算出する手段である、
動画像解析装置。
【請求項７】
請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
【数６】
2013088827.tif 000013
において１で表された差分要素のみを算出する手段である、
動画像解析装置。
【請求項８】
請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
【数７】
2013088827.tif 000014
において１で表された差分要素のみを算出する手段である、
動画像解析装置。
【請求項９】
請求項１ないし４のいずれか１項に記載の動画像解析装置であって、
前記差分データ生成手段は、前記着目画素と、同一画像について上下左右斜めに存在する他画素との差分をｆ*、該画像の前後に撮像された画像について上下左右斜めに存在する他画素との差分をｆ−１*、ｆ＋１*とした場合、
【数８】
2013088827.tif 000015
において１で表された差分要素のみを算出する手段である、
動画像解析装置。
【請求項１０】
ガラスの製造工程において溶融ガラスの状態を監視する監視カメラによる動画を解析するのに用いられる、請求項１ないし９のいずれか１項に記載の動画像解析装置。
【請求項１１】
コンピュータが、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析方法であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
をコンピュータが実行する動画像解析方法。
【請求項１２】
コンピュータが、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析方法であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
をコンピュータが実行する動画像解析方法。
【請求項１３】
コンピュータに、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定させる動画像解析プログラムであって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
をコンピュータに実行させる動画像解析プログラム。
【請求項１４】
コンピュータに、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断させる動画像解析プログラムであって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
をコンピュータに実行させる動画像解析プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画データを解析する動画像解析装置及び方法、並びにプログラムに関し、特にガラス製造工程における溶融ガラス等の状態の解析に関する。
【背景技術】
【０００２】
従来、動画データを解析して、画像に含まれる物体を特定したり、撮像されている観察対象の状態を判定したりする技術について研究が進められている。【０００３】
特許文献１には、三次元データすなわち動画データのフレーム間差分又はエッジ差分を算出し、これを二値化した上で、立体高次局所自己相関特徴抽出処理を行って更に係数行列を乗じた新特徴データを登録データと比較することによって、物体を認識することについて記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−９２３４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の技術は、二値化画像に対して処理を行っているため、比較的輪郭がはっきりした画像に対しては有効であるが、ガラスの製造工程のように、輪郭があいまいで形状変化が大きい動画に対しては適切な解析を行うことができない場合がある。【０００６】
本発明は、１側面によれば、より適切に動画を解析することが可能な動画像解析装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するための本発明の第１の態様は、
複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析装置であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する観察対象物判定手段と、
を備える動画像解析装置である。【０００８】
本発明の第２の態様は、
観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析装置であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する差分データ生成手段と、
前記画像中の評価領域における、前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する異常状態判定手段と、
を備える動画像解析装置である。【０００９】
本発明の第３の態様は、
コンピュータが、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定する動画像解析方法であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
をコンピュータが実行する動画像解析方法である。【００１０】
本発明の第４の態様は、
コンピュータが、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断する動画像解析方法であって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
をコンピュータが実行する動画像解析方法である。【００１１】
本発明の第５の態様は、
コンピュータに、複数の画像が時系列に並ぶ動画データを解析して、前記画像に含まれる観察対象物を特定させる動画像解析プログラムであって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データと、予め定められた比較データとを比較することにより、各画素が前記観察対象物に属するか否かを判定する処理と、
をコンピュータに実行させる動画像解析プログラムである。【００１２】
本発明の第６の態様は、
コンピュータに、観察対象を撮像した複数の画像が時系列に並ぶ動画データを解析して、前記観察対象の状態を判断させる動画像解析プログラムであって、
同一画像について着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出し、時間軸方向に前後する画像について前記着目画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出することにより、差分データを生成して記憶手段に格納する処理と、
前記記憶手段に格納された差分データに対して所定の係数を乗じて集計した指標値に基づいて、前記観察対象が異常状態であるか否かを判定する処理と、
をコンピュータに実行させる動画像解析プログラムである。
【発明の効果】
【００１３】
本発明は、１側面によれば、より適切に動画を解析することが可能な動画像解析装置を提供することができる。【００１４】
本発明は、ガラス製造工程の溶解槽における溶融ガラス上のガラス原料の浮遊状態、溶融ガラス上のバブラー泡や泡層の状態、前記清澄槽における泡や泡層の状態、またはフロート法成形装置における溶融錫上の異物等の状態を把握するのに好ましく、前記溶解槽における溶融ガラス上のガラス原料の浮遊状態、溶融ガラス上のバブラー泡や泡層の状態を把握するのにより好ましく、前記溶解槽における溶融ガラス上のガラス原料の浮遊状態を把握するのにさらに好ましい。
【図面の簡単な説明】
【００１５】
【図１】ガラスを製造するための製造装置１００の構成を簡略に示す図である。
【図２】本発明の一実施例に係る動画像解析装置１のハードウエア構成例である。
【図３】動画像解析装置１の機能構成例である。
【図４】差分データＦ*を示す図である。
【図５】第１実施例の動画像解析装置１が実行する特徴的な処理の流れを示すフローチャートである。
【図６】溶解槽１１０内を撮像した原画像である。
【図７】観察対象物判定部４２による判定結果を示す疑似画像である。
【図８】清澄槽１２０内を撮像した原画像である。
【図９】観察対象物判定部４２による判定結果を示す疑似画像である。
【図１０】動画像解析装置２の機能構成例である。
【図１１】差分データＦ*に含まれる特徴量に乗算される係数を例示した図である。
【図１２】係数列を差分データＦ*に乗算し、得られた全画素についての乗算結果を集計した指標値の推移を示す図である。
【図１３】第２実施例の動画像解析装置２が実行する特徴的な処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明を実施するための形態について、添付図面を参照しながら実施例を挙げて説明する。
【００１７】
ここで、動画像解析装置自体の説明に先立って、本発明の動画像解析装置が好適に適用されるガラスの製造工程について説明する。
【００１８】
図１は、ガラスを製造するための製造装置１００の構成を簡略に示す図である。製造装置１００は、原料が導入される上流側から順に、例えば溶解槽１１０と、清澄槽１２０と、成形装置１３０と、徐冷装置１４０と、を備える。
【００１９】
溶解槽１１０には、粉状のＳｉＯ２、Ａｌ２Ｏ３、Ｂ２Ｏ３、ＭｇＯ、ＣａＯ、ＳｒＯ、ＢａＯ等のガラス原料が導入され、複数のバーナー１１２によって加熱されることにより溶融ガラスＡが生成される。溶融ガラスＡは、例えば１５００〜１６００℃程度に加熱される。
【００２０】
また、溶解槽１１０には、底部にバブラー１１４が取り付けられる。バブラー１１４は、エアー、窒素ガス等の泡Ｂを発生させて溶融ガラスを循環させる。これによって、溶融ガラスを均質化させ、液晶ディスプレイ用のガラス等、均質化が難しいガラスの品質を一定に保つことができる。
【００２１】
溶解槽１１０では、溶融ガラスＡの液面上に、溶ける前の粉状のガラス原料が浮遊した状態となっている。以下、係る浮遊したガラス原料をバッチ山Ｃと称する。
【００２２】
溶解槽１１０で生成された溶融ガラスＡは、清澄槽１２０に送られ、減圧することにより、或いは温度を更に上昇させることにより、溶融ガラスＡに含まれる泡が除去される。
【００２３】
清澄槽１２０で泡が除去された溶融ガラスＡは、成形装置１３０に送られ、平板状に成形される。成形装置１３０では、例えば底部に溶融スズＤが張られ、溶融スズＤの上に溶融ガラスが載置されることによって平らな平面が形成される（フロート法）。溶融ガラスＡは、成形装置１３０に導入された時には例えば１２００℃程度の温度であるが、成形装置１３０からの退出時には８００℃程度の板ガラスの状態となる。
【００２４】
成形装置１３０から退出した板ガラスは、徐冷装置１４０でローラーによって送られながら常温まで温度が低下する。成形装置１３０では、幅方向に板ガラスが引き延ばされ、所望の厚さ（例えば０．１〜５ｍｍ、好ましくは０．１〜２ｍｍ、より好ましくは０．１〜１．３ｍｍ、さらに好ましくは０．１〜０．７ｍｍ）に調整される。
【００２５】
従来、このようなガラスの製造工程に関し、溶解槽１１０におけるバッチ山Ｃの状態を監視するために、これらに監視カメラを取り付けて人が目視で監視を行っていた。
【００２６】
そのため、作業性や正確性の問題があったが、本発明により、容易にかつ正確に、バッチ山の状態（溶融ガラス上のガラス原料の浮遊状態）を把握することができ、必要に応じて迅速に製造条件（原料投入タイミングまたは原料溶解加熱量等）の調整を行なうことが可能になる。
【００２７】
なお、本発明は、前記バッチ山の状態のほか、溶解槽内の溶融ガラス上のバブラー泡や泡層の状態や、清澄槽における泡や泡層の状態や、フロートバス内の溶融錫上の異物の浮遊状態や溶融ガラスの位置状態を容易にかつ正確に把握することも可能である。ただし、輪郭があいまいで形状変化の大きい前記バッチ山の状態の把握に特に有効である。
【実施例】
【００２８】
＜第１実施例＞
以下、図面を参照し、本発明の第１実施例に係る動画像解析装置１について説明する。【００２９】
［ハードウエア構成］
図２は、本発明の一実施例に係る動画像解析装置１のハードウエア構成例である。動画像解析装置１は、例えば、ＣＰＵ（Central  Processing  Unit）１０と、ドライブ装置１２と、補助記憶装置１６と、メモリ装置１８と、インターフェース装置２０と、入力装置２２と、表示装置２４と、を備える。これらの構成要素は、バスやシリアル回線等を介して接続されている。【００３０】
ＣＰＵ１０は、例えば、プログラムカウンタや命令デコーダ、各種演算器、ＬＳＵ（Load  Store  Unit）、汎用レジスタ等を有するプロセッサである。【００３１】
ドライブ装置１２は、記憶媒体１４からプログラムやデータを読み込み可能な装置である。プログラムを記録した記憶媒体１４がドライブ装置１２に装着されると、プログラムが記憶媒体１４からドライブ装置１２を介して補助記憶装置１６にインストールされる。記憶媒体１４は、例えば、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disc）、ＵＳＢ（Universal  Serial  Bus）メモリ等の可搬型の記憶媒体である。また、補助記憶装置１６は、例えば、ＨＤＤ（Hard  Disk  Drive）やフラッシュメモリである。【００３２】
プログラムのインストールは、上記のように記憶媒体１４を用いる他、インターフェース装置２０がネットワークを介して他のコンピュータよりダウンロードし、補助記憶装置１６にインストールすることによって行うこともできる。ネットワークは、インターネット、ＬＡＮ（Local  Area  Network）、無線ネットワーク等である。また、プログラムは、動画像解析装置１の出荷時に、予め補助記憶装置１６やＲＯＭ（Read  Only  Memory）等に格納されていてもよい。【００３３】
このようにしてインストール又は予め格納されたプログラムをＣＰＵ１０が実行することにより、図２に示す態様の情報処理装置が、本実施例の動画像解析装置１として機能することができる。【００３４】
メモリ装置１８は、例えば、ＲＡＭ（Random  Access  Memory）やＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）である。インターフェース装置２０は、上記ネットワークとの接続等を制御する。【００３５】
入力装置２２は、例えば、キーボード、マウス、ボタン、タッチパッド、タッチパネル、マイク等である。また、表示装置２４は、例えば、ＬＣＤ（Liquid  Crystal  Display）やＣＲＴ（Cathode  Ray  Tube）等の表示装置である。動画像解析装置１は、表示装置２４の他、プリンタ、スピーカ等の他の種類の出力装置を備えてもよい。【００３６】
動画像解析装置１は、インターフェース装置２０を介してビデオカメラ３０と接続される。ビデオカメラ３０は、前述したように、ガラスの製造工程における清澄槽１２０内を撮像可能な位置に取り付けられる。ビデオカメラ３０の撮像した動画データは、例えばフレーム毎に動画像解析装置１に送信され、一定期間、メモリ装置１８に格納される。以下、各フレームの画像を画像データと称する。【００３７】
［機能構成］
図３は、動画像解析装置１の機能構成例である。動画像解析装置１は、差分データ生成部４０と、観察対象物判定部４２と、異常状態判定部４４と、を備える。【００３８】
（差分データ生成）
差分データ生成部４０は、あるタイミング「ｔ」で撮像された画像データｆに含まれる画素（ｘ，ｙ，ｔ）と、当該画素の上下左右斜めに存在する他画素との画素値の差分のうち少なくとも一部を算出する。なおこれらの差分データの算出は、画像データ全体について行うのに限らず、画像データ中の一又は複数の評価領域について行ってよい。以下、画素（ｘ，ｙ，ｔ）と、当該画素を中心とした上下左右斜めに存在する他画素との画素値の差分を表すマトリクスデータｆ*を、次式（１）で定義する。なお、マトリクスデータｆ*のうち中央の値は、他画素との差分ではなく、画素（ｘ，ｙ）の画素値そのものである。式中、Ｉ（ｘ，ｙ，ｔ）は、画素（ｘ，ｙ，ｔ）の画素値を示している。【００３９】
【数１】
2013088827.tif 000003
また、差分データ生成部４０は、画像データｆに時間軸方向に前後する（例えば１フレーム前と１フレーム後の）画像データｆ−１、ｆ＋１について、画素（ｘ，ｙ，ｔ）と、当該画素の上下左右斜めに存在する他画素との差分のうち少なくとも一部を算出する。以下、画素（ｘ，ｙ，ｔ）と、当該画素の上下左右斜めに存在する他画素との差分を表すマトリクスデータｆ−１*、ｆ＋１*を、次式（２）、（３）で定義する。【００４０】
【数２】
2013088827.tif 000004
なお、画像のサンプリング時間が最適であれば１フレーム前と１フレーム後の画像データを上記画像データｆ−１、ｆ＋１としてよいが、サンプリング時間が短い場合には、数フレーム前（或いは数十フレーム前）と数フレーム後（或いは数十フレーム後）の画像データを上記画像データｆ−１、ｆ＋１としてよい。【００４１】
「画素の上下左右斜めに存在する他画素との画素値の差分」についても同様であり、画像の分解能が高い場合、複数画素（例えば隣接する４画素）を統合して１画素とするような前処理を行ってもよい。また、各画素について、空間分解能、時間的サンプリング周期を変えた複数の条件で差分データを算出してもよい。【００４２】
マトリクスデータｆ−１*、ｆ*、ｆ＋１*を合わせると、２７要素の差分データＦ*｛ｆ−１*、ｆ*、ｆ＋１*｝となる。差分データＦ*は、メモリ装置１８に格納される。図４は、差分データＦ*を示す図である。【００４３】
ここで、差分データ生成部４０は、差分データＦ*の全ての差分要素（又は画素値）を算出するのではなく、一部の差分要素（又は画素値）の算出を省略、或いはフィルタリングによって除去してもよい。以下、ｆ−１*、ｆ*、ｆ＋１*のうち算出する差分要素（又は画素値）を１、省略する差分要素を０で表す。また、差分要素と中央の画素値を合わせて「特徴量」と称する。【００４４】
全ての特徴量を算出する場合、差分データＦ*は以下のように表される。【００４５】
【数３】
2013088827.tif 000005
また、同じベクトル上の重複する特徴量を省略した場合、差分データＦ*は以下のように表される。この差分データＦ*は、鋭いエッジや急な方向転換等の動きが無い動画に対して好適に適用される。【００４６】
【数４】
2013088827.tif 000006
また、主に観察対象物が上下方向（ｙ軸方向）に動くことが想定される動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。【００４７】
【数５】
2013088827.tif 000007
また、主に観察対象物が上下方向（ｙ軸方向）に動くことが想定され、且つ鋭いエッジや急な方向転換等の動きが無い動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。【００４８】
【数６】
2013088827.tif 000008
また、主に観察対象物が左右方向（ｘ軸方向）に動くことが想定される動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。【００４９】
【数７】
2013088827.tif 000009
また、主に観察対象物が左右方向（ｘ軸方向）に動くことが想定され、且つ鋭いエッジや急な方向転換等の動きが無い動画に対して好適に適用される差分データＦ*として、以下のものが用いられる。【００５０】
【数８】
2013088827.tif 000010
このような差分データＦ*の選択は、人の判断によって行ってもよいし、自動的に行うこともできる。後者の場合、例えば後述する観察対象物判定を有効に行うことができる差分データＦ*を網羅的に探索してもよいし、効果が低い特徴量を減らしながら最適な差分データＦ*に至るようにしてもよいし、単体で最も有効な特徴量から一つずつ特徴量を増加させながら最適な差分データＦ*に至るようにしてもよい。【００５１】
（観察対象物判定）
観察対象物判定部４２は、上記のように最大２７個の特徴量を含む差分データＦ*と、予め定められた比較データＦｒｅｆとを比較することにより、各画素が観察対象物（例えば泡Ｅ）に属するか否かを判定する。【００５２】
観察対象物の判定は、例えば、比較データＦｒｅｆに含まれる複数の比較データＦｒｅｆ１、Ｆｒｅｆ２、…を母集団とする差分データＦ*のマハラノビス距離を算出し、マハラノビス距離の大小によっていずれの母集団のクラスタに属するか否かを判定するクラスタリング分析を用いて行う。マハラノビス距離は、マハラノビス平方距離（Mahalanobis  Squared  Distance）ＭＨＤから算出する。マハラノビス平方距離ＭＨＤは、次式（４）により求められる。式（４）における行列Ｖにおける各要素Ｖ（ｉ）は、未知データの多次元の特徴量ｖ（ｉ）に対して、該当クラスタ内の学習データの特徴量の平均値avg.（ｉ）と標準偏差std.（ｉ）により、次式（５）により求めた特徴量である。ｎは自由度である。マハラノビス平方距離ＭＨＤは、ｎ個の変換された特徴量の差分を加算した数値であり、（マハラノビス平方距離ＭＨＤ）／ｎにより母集団平均の単位距離が１となる。また、ＶＴは特徴量ｖ（ｉ）を要素とする行列Ｖの転置行列であり、Ｒ−１はクラスタ内の学習データにおける各特徴量間の相関行列（Correlation  Matrix）Ｒの逆行列である。【００５３】
ＭＨＤ＝（１／ｎ）・（ＶＴＲ−１Ｖ）  …（４）
Ｖ（ｉ）＝（ｖ（ｉ）−avg.（ｉ））／std.（ｉ）  …（５）
なお、観察対象物は一種類である必要はなく、複数の観察対象物について判定を行うことが可能である。【００５４】
（異常状態判定）
異常状態判定部４４は、観察対象物判定手段４２による判定結果に基づき得られる画像に含まれる観察対象物（例えば泡Ｅ）の割合に基づいて、観察対象物を生じさせる観察対象、すなわち清澄槽１２０における泡除去工程が異常状態であるか否かを判定する。より具体的には、観察対象物判定手段４２により泡Ｅに属すると判定された画素の数と、その他の画素の数との比が一定範囲内であれば清澄槽１２０における泡除去工程は正常状態であり、一定範囲外であれば異常状態であると判定する。【００５５】
［処理フロー］
以下、本実施例の動画像解析装置１が観察対象の監視のための動画像解析を行う際の動作について説明する。図５は、第１実施例の動画像解析装置１が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば１フレーム分の画像データがビデオカメラ３０から入力される度に実行される。【００５６】
まず、差分データ生成部４０が、直近の３フレーム分の画像データをメモリ装置１８から読み込む（Ｓ２００）
差分データ生成部４０は、画素を一つ取り出し、当該画素について差分データＦ*を生成する（Ｓ２０２）。【００５７】
次に、観察対象物判定部４２が、当該画素についてマハラノビス距離によるクラスタリング分析を行い、当該画素が観察対象物に属するか否かを判定する（Ｓ２０４）。判定結果は、メモリ装置１８に格納される。【００５８】
そして、動画像解析装置１の図示しない制御部は、全ての画素についてＳ２０２、Ｓ２０４の処理を行ったか否かを判定する（Ｓ２０６）。全ての画素についてＳ２０２、Ｓ２０４の処理を行っていない場合、Ｓ２０２に戻り、次の画素を取り出して処理を行う。画素の取り出しは、例えば左上から右方向に順次走査し、右端まで到達すると下段に移動するという順序で行われる。【００５９】
全ての画素についてＳ２０２、Ｓ２０４の処理を行うと、異常状態判定部４４は、観察対象物に属すると判定された画素の数を集計し（Ｓ２０８）、観察対象物に属すると判定された画素の数が一定範囲内に収まっているか否かを判定する（Ｓ２１０）。【００６０】
異常状態判定部４４は、観察対象物に属すると判定された画素の数が一定範囲内に収まっている場合は、観察対象が正常状態であると判定し（Ｓ２１２）、一定範囲内に収まっていない場合は、観察対象が異常状態であると判定する（Ｓ２１４）。【００６１】
前述したように、観察対象物が複数存在する場合、Ｓ２１０の判定処理は、異なるものとなる。この場合、「各」観察対象物に属すると判定された画素の数が、「それぞれ」一定範囲内に収まっているか否かを判定する等と変更する。【００６２】
［実験結果］
本出願の発明者は、溶解槽１１０内を撮像した動画像に対して、実際に上記説明した処理を実行し、各画素が対象物（バッチ山Ｃ）に属するか否かを判定する処理を行った。図６は、溶解槽１１０内を撮像した原画像であり、バッチ山Ｃに相当する箇所を囲い線で示したものである。図７は、観察対象物判定部４２による判定結果を示す疑似画像である。図７における白い部分が、バッチ山Ｃに属すると判定された画素を示しており、黒い部分がバッチ山Ｃ以外の部分（溶融ガラス面）に属すると判定された画素を示している。図示するように、光の具合による過剰検出が点状に見られるものの、ほぼ全てのバッチ山Ｃを検出することができた。【００６３】
また、本出願の発明者は、清澄槽１２０内を撮像した動画像に対して、実際に上記説明した処理を実行し、各画素が対象物（泡Ｅ）に属するか否かを判定する処理を行った。図８は、清澄槽１２０内を撮像した原画像であり、図９は、観察対象物判定部４２による判定結果を示す疑似画像である。図９における白い部分が、泡Ｅに属すると判定された画素を示しており、黒い部分が泡Ｅ以外の部分（ガラス面）に属すると判定された画素を示している。図示するように、画像下端部において光の具合による過剰検出が見られるものの、ほぼ全ての泡Ｅを検出することができた。【００６４】
［まとめ］
以上説明した本実施例の動画像解析装置１によれば、二値化処理等を行うことなく、画素値の差分に対して直接的に観察対象物に属するか否かを判定するため、特に輪郭があいまいで形状変化が大きい動画に対して、より適切に解析を行うことができる。【００６５】
また、図５のフローに示すように、１フレームの入力毎に判定結果を出力することができるため、リアルタイムに観察対象を監視することができる。【００６６】
従って、より迅速且つ適切に動画を解析することができる。【００６７】
＜第２実施例＞
以下、図面を参照し、本発明の第２実施例に係る動画像解析装置２について説明する。【００６８】
［ハードウエア構成］
第１実施例と共通するため、説明を省略する。【００６９】
［機能構成］
図１０は、動画像解析装置２の機能構成例である。動画像解析装置２は、差分データ生成部４０と、異常状態判定部４６と、を備える。【００７０】
（差分データ生成）
第１実施例と共通するため、説明を省略する。【００７１】
（異常状態判定）
異常状態判定部４６は、メモリ装置１８に格納された差分データＦ*に対して所定の係数を乗じて集計した指標値に基づいて、観察対象が異常状態であるか否かを判定する。【００７２】
図１１は、差分データＦ*に含まれる特徴量に乗算される係数を例示した図である。図中、ｐ１〜ｐ２７は、差分データＦ*に含まれる特徴量であり、ｐ１〜ｐ９がｆ＋１*に含まれる特徴量を、ｐ１０〜１８がｆ*に含まれる特徴量を、ｐ１９〜２７がｆ*−１に含まれる特徴量を、それぞれ示している。【００７３】
また、図中、ＰＣ１〜ＰＣ９は、各特徴量に乗算される係数列を示しており、それぞれが抽出すべき画像の変化に応じた値となっている。例えば、ＰＣ２ではｐ１〜ｐ９に乗算される係数が負の値であると共にｐ１９〜２７に乗算される係数が正の値であるため、ＰＣ２が乗算された差分データＦ*は、画像が暗くなっていくタイミングで大きい値を示すことになる。また、ＰＣ３ではｐ４〜６とｐ２２〜２４の絶対値が大きいため、動画に含まれる物体が左右に広がったり狭まったりするタイミングで大きい値を示すことになる。また、ＰＣ４ではｐ１４が大きいため、全体の明るさを反映した値を示す。また、ＰＣ５ではｐ１３〜１５の値が大きいため、物体の動きとは関係なく縦の線要素を反映した値を示す。また、ＰＣ６ではｐ１〜３が正、ｐ２５〜２７が負の値であるため、物体が上方向に移動しているタイミングで大きい値を示すことになる。【００７４】
異常状態判定部４６は、上記ＰＣ１〜ＰＣ９のように目的に応じて決定される係数列を、画像に含まれる全ての画素の差分データＦ*に乗算し、得られた全画素についての乗算結果を集計する。そして、集計結果＝指標値Ｈを時系列に観察し、比較データＨｒｅｆを母集団とした指標値Ｈのマハラノビス平方距離ＭＨＤを算出し、マハラノビス平方距離ＭＨＤが例えば正規分布における５σ等の閾値を超えた場合に、観察対象が異常状態であると判定する。図１２は、適切に選択された係数列を画像に含まれる全ての画素の差分データＦ*に乗算し、得られた全画素についての乗算結果を集計した指標値の推移を示す図である。図示するように、数箇所において異常な指標値の上昇が見られ、観察対象の異常状態を適切に検出することができる。【００７５】
［処理フロー］
以下、本実施例の動画像解析装置２が観察対象の監視のための動画像解析を行う際の動作について説明する。図１３は、第２実施例の動画像解析装置２が実行する特徴的な処理の流れを示すフローチャートである。本フローは、例えば１フレーム分の画像データがビデオカメラ３０から入力される度に実行される。【００７６】
まず、差分データ生成部４０が、直近の３フレーム分の画像データをメモリ装置１８から読み込む（Ｓ３００）。【００７７】
差分データ生成部４０は、画素を一つ取り出し、当該画素について差分データＦ*を生成する（Ｓ３０２）。【００７８】
次に、異常状態判定部４６が、Ｓ３０２で生成された差分データＦ*の各特徴量に対して係数列を乗算し、当該画素についての部分指標値Ｈｐを算出する（Ｓ３０４）。【００７９】
そして、動画像解析装置１の図示しない制御部は、全ての画素についてＳ３０２、Ｓ３０４の処理を行ったか否かを判定する（Ｓ３０６）。全ての画素についてＳ３０２、Ｓ３０４の処理を行っていない場合、Ｓ３０２に戻り、次の画素を取り出して処理を行う。画素の取り出しは、例えば左上から右方向に順次走査し、右端まで到達すると下段に移動するという順序で行われる。【００８０】
全ての画素についてＳ３０２、Ｓ３０４の処理を行うと、異常状態判定部４６は、算出した部分指標値Ｈｐを集計し、指標値合計Ｈ及びマハラノビス平方距離ＭＨＤを算出する（Ｓ３０８）。【００８１】
そして、異常状態判定部４６は、算出したマハラノビス平方距離ＭＨＤが統計的に異常値であるか否かを判定する（Ｓ３１０）。【００８２】
異常状態判定部４６は、算出したマハラノビス平方距離ＭＨＤが統計的に異常値でない場合は、観察対象が正常状態であると判定し（Ｓ３１２）、算出したマハラノビス平方距離ＭＨＤが統計的に異常値である場合は、観察対象が異常状態であると判定する（Ｓ３１４）。【００８３】
［まとめ］
以上説明した本実施例の動画像解析装置２によれば、二値化処理等を行うことなく、画素値の差分を用いて直接的に観察対象が異常であるか否かを判定するため、特に輪郭があいまいで形状変化が大きい動画に対して、より適切に解析を行うことができる。【００８４】
また、図１３のフローに示すように、１フレームの入力毎に判定結果を出力することができるため、リアルタイムに観察対象を監視することができる。【００８５】
従って、より迅速且つ適切に動画を解析することができる。【００８６】
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。【００８７】
例えば、本発明に係る動画像解析装置は、ガラスの製造工程以外にも適用可能である。【００８８】
また、上記実施例は、単色画像を前提として説明したが、カラー画像に対しても適用可能である。カラー画像の場合、Ｒ、Ｇ、Ｂそれぞれの要素について同一の処理を行うものとすればよい。この場合、観察対象物判定部４２の処理は、例えばＲ、Ｇ、Ｂそれぞれについてのクラスタリング分析を行った後に、Ｒ、Ｇ、Ｂ全てについて該当すれば観察対象物に属すると判定し、一部についてのみ該当すれば不明であると判定する、等が考えられる。【００８９】
また、カラー画像の場合、上記の他、ＲＧＢそれぞれの差分データを算出し、それらを統合してクラスタリング分析を行ってもよいし、（ｘ，ｙ，ｔ）の三次元に加えて四次元で差分を求めて特徴量を算出し、クラスタリング分析を行ってもよい。【００９０】
以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。【００９１】
本国際出願は、２０１１年１２月１６日に出願した日本国特許出願２０１１−２７６４３５号に基づく優先権を主張するものであり、日本国特許出願２０１１−２７６４３５号の全内容をここに本国際出願に援用する。
【符号の説明】
【００９２】
１、２  動画像解析装置
１０    ＣＰＵ
１２    ドライブ装置
１４    記憶媒体
１６    補助記憶装置
１８    メモリ装置
２０    インターフェース装置
２２    入力装置
２４    表示装置
３０    ビデオカメラ
４０    差分データ生成部
４２    観察対象物判定部
４４、４６  異常状態判定
【図１】
2013088827.tif 000016
【図２】
2013088827.tif 000017
【図３】
2013088827.tif 000018
【図４】
2013088827.tif 000019
【図５】
2013088827.tif 000020
【図６】
2013088827.tif 000021
【図７】
2013088827.tif 000022
【図８】
2013088827.tif 000023
【図９】
2013088827.tif 000024
【図１０】
2013088827.tif 000025
【図１１】
2013088827.tif 000026
【図１２】
2013088827.tif 000027
【図１３】
2013088827.tif 000028
【国際調査報告】
2013088827.tif 000029
2013088827.tif 000030