(57)【要約】【課題】レースウェイの画像から燃焼領域を抽出する精度を向上させる。【解決手段】画像処理装置１は、カメラ１０８が高炉１００の羽口１０１を通してレースウェイ１０４を複数の時刻で撮影することにより得られた、レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成部２２と、代表値画像を第１しきい値で二値化することにより、背景領域およびＰＣランス領域に対応する第１マスク領域、および、燃焼領域に対応する第１非マスク領域を有する第１マスク画像を生成する第２生成部２３と、上記複数の画像の撮影後にカメラがレースウェイを撮影することにより得られたレースウェイの画像に、第１マスク画像をマスクして、燃焼領域を抽出する抽出部２４と、を備える。【選択図】図６
2020200528.tif 000002
【特許請求の範囲】
【請求項１】
カメラが高炉の羽口を通してレースウェイを複数の時刻で撮影することにより得られた、前記レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成部と、
前記代表値画像を第１しきい値で二値化することにより、背景領域およびＰＣランス領域に対応する第１マスク領域、および、燃焼領域に対応する第１非マスク領域を有する第１マスク画像を生成する第２生成部と、
前記複数の画像の撮影後に前記カメラが前記レースウェイを撮影することにより得られた前記レースウェイの画像に、前記第１マスク画像をマスクして、前記燃焼領域を抽出する抽出部と、を備える、画像処理装置。
【請求項２】
前記第１生成部は、前記同じ位置の画素の前記代表値が選択される前記複数の画像の範囲を時間軸に沿って移動させて前記代表値画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記抽出部によって抽出された前記燃焼領域の輝度の代表値を算出する算出部をさらに備える、請求項１または２に記載の画像処理装置。
【請求項４】
前記第２生成部は、前記第１非マスク領域を収縮処理する、請求項１〜３のいずれか一項に記載の画像処理装置。
【請求項５】
前記複数の画像を用いて、前記同じ位置の画素のばらつきの値を示すばらつき値画像を生成する第３生成部と、
前記ばらつき値画像を第２しきい値で二値化することにより、輝度値の時間変動量が小さい領域に対応する第２マスク領域、および、前記時間変動量が大きい領域に対応する第２非マスク領域を有する第２マスク画像を生成する第４生成部と、
前記第１非マスク領域と前記第２非マスク領域との論理和を示す第３非マスク領域を有する第３マスク画像を生成する第５生成部と、をさらに備え、
前記抽出部は、前記レースウェイの画像に対して、前記第１マスク画像の換わりに前記第３マスク画像をマスクにして、前記燃焼領域および未溶融鉱石が落下する領域を示す生鉱落ち領域を抽出する、請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記第３生成部は、前記同じ位置の画素の前記ばらつきの値が選択される前記複数の画像を時間軸に沿って移動させて前記ばらつき値画像を生成する、請求項５、請求項２を引用する請求項３または請求項４のいずれか一項に記載の画像処理装置。
【請求項７】
カメラが高炉の羽口を通してレースウェイを複数の時刻で撮影することにより得られた、前記レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成ステップと、
前記代表値画像を第１しきい値で二値化することにより、背景領域およびＰＣランス領域に対応する第１マスク領域、および、燃焼領域に対応する第１非マスク領域を有する第１マスク画像を生成する第２生成ステップと、
前記複数の画像の撮影後に前記カメラが前記レースウェイを撮影することにより得られた前記レースウェイの画像に、前記第１マスク画像をマスクして、前記燃焼領域を抽出する抽出ステップと、を備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高炉の羽口を通して撮影されたレースウェイの画像を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
高炉内のレースウェイを、羽口を通してカメラで撮影することが行われている。これにより得られたレースウェイの画像を利用する技術として、例えば、特許文献１に開示された高炉異常検出方法がある。この方法は、高炉の羽口部が閉塞状態となる異常を検出する高炉異常検出方法であって、前記羽口部に設けられた炉内監視用窓を通してレースウェイ部を撮像し、その撮像画像の輝度が予め設定した輝度閾値以下であり、且つ当該輝度の低下率が予め設定した輝度低下率閾値以下であるとき、前記羽口部が閉塞状態となる異常が発生していると判断する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２０１４／２０３５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レースウェイの画像は、コークスの燃焼領域、微粉炭の燃焼領域、ＰＣランス領域、および、背景領域を含む。コークスの燃焼領域と微粉炭の燃焼領域とを区別しないとき、燃焼領域と記載する。ＰＣランス領域は、高炉に差し込まれているＰＣ（Ｐｕｌｖｅｒｉｚｅｄ  Ｃｏａｌ）ランスのうち、レースウェイ内に位置する部分を示す領域である。背景領域は、羽口とつながる送風管の内周面を示す領域である。
【０００５】
本発明者らはレースウェイ内の燃焼領域の温度監視をするために、この燃焼領域の温度を測定する技術について検討した。燃焼領域の温度は、２３００℃程度と言われているが、燃焼領域の温度を直接計測することは、現時点の技術では困難である。そこで、燃焼領域の温度と輝度値が、正の相関関係を有することを利用して、燃焼領域の輝度値を基にして、燃焼領域の温度を推定することが考えられる。
【０００６】
ＰＣランス領域および背景領域の輝度値は、燃焼領域の輝度値より小さいことが想定される。燃焼領域の輝度値の評価において、ＰＣランス領域や背景領域の輝度値が含まれてしまうと、燃焼領域の輝度値は、真値より小さくなる。この結果、燃焼温度は、真値より低くなってしまう。
【０００７】
本発明の目的は、レースウェイの画像から燃焼領域を抽出する精度を向上させることができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の第１局面に係る画像処理装置は、カメラが高炉の羽口を通してレースウェイを複数の時刻で撮影することにより得られた、前記レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成部と、前記代表値画像を第１しきい値で二値化することにより、背景領域およびＰＣランス領域に対応する第１マスク領域、および、燃焼領域に対応する第１非マスク領域を有する第１マスク画像を生成する第２生成部と、前記複数の画像の撮影後に前記カメラが前記レースウェイを撮影することにより得られた前記レースウェイの画像に、前記第１マスク画像をマスクして、前記燃焼領域を抽出する抽出部と、を備える。
【０００９】
本発明の第１局面に係る画像処理装置は、代表値画像を基にして生成された第１マスク画像を用いて、レースウェイの画像から燃焼領域を抽出する。しきい値を用いてレースウェイの画像から燃焼領域を抽出する手法を採用しない理由は、以下の通りである。燃焼領域のうち、微粉炭の燃焼領域の輝度値は、燃焼領域以外の領域（背景領域、ＰＣランス領域等）の輝度値より大きいが、その差は比較的小さい。そして、微粉炭の燃焼領域の輝度値は、時間変動量が大きいので、燃焼領域以外の領域の輝度値と同じ程度になることがある。従って、しきい値を用いてレースウェイの画像から燃焼領域を抽出する手法では、燃焼領域のうち、微粉炭の燃焼領域を抽出することができない。
【００１０】
代表値画像の各画素は、レースウェイの複数の画像を用いて生成された、これらの画像の同じ位置にある画素の代表値（平均値、中央値、最頻値）を示す。このため、微粉炭の燃焼領域の輝度値の時間変動量が大きくても、代表値画像において、微粉炭の燃焼領域の輝度値（代表値）は、常に、燃焼領域以外の領域の輝度値より高くすることが可能となる。このような代表値画像を用いて第１マスク画像が生成される。従って、第１マスク画像をマスクして、レースウェイの画像から燃焼領域が抽出されたときに、燃焼領域以外の領域が一緒に抽出されてしまうことを防止できる。よって、本発明の第１局面に係る画像処理装置によれば、レースウェイの画像に含まれる燃焼領域の抽出精度を向上させることができる。
【００１１】
上記構成において、前記第１生成部は、前記同じ位置の画素の前記代表値が選択される前記複数の画像の範囲を時間軸に沿って移動させて前記代表値画像を生成する。
【００１２】
代表値が平均値を例にすると、この構成は、平均値画像の生成に移動平均を用いる。この構成によれば、第１非マスク領域および第１マスク領域を時間の経過に従って変化させることができる。従って、燃焼領域、背景領域、ＰＣランス領域が時間の経過に従って変化しても、これに対応することができる。
【００１３】
上記構成において、前記抽出部によって抽出された前記燃焼領域の輝度の代表値を算出する算出部をさらに備える。
【００１４】
オペレータは、代表値（平均値、中央値、最頻値）を基にして、燃焼領域の状態を評価することができる。
【００１５】
上記構成において、前記第２生成部は、前記第１非マスク領域を収縮処理する。
【００１６】
高炉の羽口の付近は、温度変化が急激なので、カメラと羽口との間の空間の屈折率が絶えず変化する。この結果、レースウェイの複数の画像（時系列画像）において、燃焼領域が上下左右に揺らぐ。よって、第１非マスク領域が燃焼領域を超えて、ＰＣランス領域や背景領域まで拡大する。第２生成部が、第１非マスク領域を収縮処理することにより、第１非マスク領域がＰＣランス領域や背景領域に及ばないようにすることができる。従って、この構成によれば、燃焼領域の抽出精度をさらに向上させることができる。
【００１７】
上記構成において、前記複数の画像を用いて、前記同じ位置の画素のばらつきの値を示すばらつき値画像を生成する第３生成部と、前記ばらつき値画像を第２しきい値で二値化することにより、輝度値の時間変動量が小さい領域に対応する第２マスク領域、および、前記時間変動量が大きい領域に対応する第２非マスク領域を有する第２マスク画像を生成する第４生成部と、前記第１非マスク領域と前記第２非マスク領域との論理和を示す第３非マスク領域を有する第３マスク画像を生成する第５生成部と、をさらに備え、前記抽出部は、前記レースウェイの画像に対して、前記第１マスク画像の換わりに前記第３マスク画像をマスクにして、前記燃焼領域および未溶融鉱石が落下する領域を示す生鉱落ち領域を抽出する。
【００１８】
生鉱落ち領域は、輝度値の時間変動量が大きいので、ばらつき画像（例えば、標準偏差画像）によれば、生鉱落ち領域は、ＰＣランス領域や背景領域と区別することができる。従って、ばらつき画像を基にして生成された第２マスク画像を用いると、生鉱落ち領域の抽出が可能となる。一方、上述したように、代表値画像を基にして生成された第１マスク画像を用いると、燃焼領域の抽出が可能となる。
【００１９】
この構成では、第１マスク画像の第１非マスク領域と第２マスク画像の第２非マスク領域との論理和を示す第３非マスク領域を有する第３マスク画像を生成する。第１非マスク領域が燃焼領域と対応しており、第２非マスク領域が生鉱落ち領域と対応している。従って、この構成によれば、第３マスク画像を用いて、レースウェイの画像から燃焼領域と生鉱落ち領域の両方を抽出することができる。
【００２０】
上記構成において、前記第３生成部は、前記同じ位置の画素の前記ばらつきの値が選択される前記複数の画像を時間軸に沿って移動させて前記ばらつき値画像を生成する。
【００２１】
ばらつきの値が標準偏差を例にすると、この構成は、標準偏差画像の生成に移動標準偏差を用いる。この構成によれば、第２非マスク領域および第２マスク領域を時間の経過に従って変化させることができる。従って、輝度値の時間変動量が大きい領域と輝度値の時間変動量が小さい領域が時間の経過に従って変化しても、これに対応することができる。
【００２２】
本発明の第２局面に係る画像処理方法は、カメラが高炉の羽口を通してレースウェイを複数の時刻で撮影することにより得られた、前記レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成ステップと、前記代表値画像を第１しきい値で二値化することにより、背景領域およびＰＣランス領域に対応する第１マスク領域、および、燃焼領域に対応する第１非マスク領域を有する第１マスク画像を生成する第２生成ステップと、前記複数の画像の撮影後に前記カメラが前記レースウェイを撮影することにより得られた前記レースウェイの画像に、前記第１マスク画像をマスクして、前記燃焼領域を抽出する抽出ステップと、を備える。
【００２３】
本発明の第２局面に係る画像処理方法は、本発明の第１局面に係る画像処理装置を方法の観点から規定しており、本発明の第１局面に係る画像処理装置と同様の作用効果を有する。
【発明の効果】
【００２４】
本発明によれば、レースウェイの画像から燃焼領域を抽出する精度を向上させることができる。
【図面の簡単な説明】
【００２５】
【図１】高炉の一例の下部付近の断面模式図である。
【図２】レースウェイの動画に含まれる、連続する２０フレームの一例を示す模式図である。
【図３】レースウェイの画像の一例を示す模式図である。
【図４】図３に示す画像において、コークスの燃焼領域、微粉炭の燃焼領域、ＰＣランス領域、背景領域のそれぞれに設定されたサンプル領域（１）〜（４）を示す図である。
【図５】サンプル領域（１）〜（４）のそれぞれの平均輝度値と時間との関係を示すグラフである。
【図６】実施形態に係る画像処理装置のブロック図である。
【図７】レースウェイの複数の画像と平均値画像との関係を説明する説明図である。
【図８】平均値画像、および、この画像から生成された第１マスク画像の一例を示す模式図である。
【図９】第１マスク画像の基になった、レースウェイの複数の画像、および、第１マスク画像でマスクされるレースウェイの画像の関係を説明する説明図である。
【図１０】図２に示す連続する２０フレームのそれぞれに、第１マスク画像が重ねられた状態を示す模式図である。
【図１１】送風管の内周面に堆積物が形成された状態で撮影されたレースウェイの画像の一例を示す模式図である。
【図１２】送風管の内周面に堆積物が形成された状態での平均値画像、および、この画像から生成された第１マスク画像の一例を示す模式図である。
【図１３】送風管の内周面に堆積物が形成された状態でのレースウェイの動画に含まれる、連続する２０フレームの一例を示す模式図である。
【図１４】図１３に示す連続する２０フレームのそれぞれに、第１マスク画像が重ねられた状態を示す模式図である。
【図１５】羽口覗き窓が汚れた状態で撮影されたレースウェイの画像の一例を示す模式図である。
【図１６】羽口覗き窓が汚れた状態での平均値画像、および、この画像から生成された第１マスク画像の一例を示す模式図である。
【図１７】羽口覗き窓が汚れた状態でのレースウェイの動画に含まれる、連続する２０フレームの一例を示す模式図である。
【図１８】図１７に示す連続する２０フレームのそれぞれに、第１マスク画像が重ねられた状態を示す模式図である。
【図１９】実施形態に係る画像処理装置の動作を説明するフローチャートである。
【図２０】平均値画像、この画像から生成された第１マスク画像、および、収縮処理がされた第１マスク画像の一例を示す模式図である。
【図２１】図２に示す連続する２０フレームのそれぞれについて、収縮処理がされた第１マスク画像がマスクした状態を示す模式図である。
【図２２】未溶融鉱石が落下している状態でのレースウェイの動画に含まれる、連続する２０フレームの一例を示す模式図である。
【図２３】第２変形例に係る画像処理装置のブロック図である。
【図２４】レースウェイの複数の画像と標準偏差画像との関係を説明する説明図である。
【図２５】平均値画像、この画像から生成された第１マスク画像、標準偏差画像、この画像から生成された第２マスク画像、および、第３マスク画像の一例を示す模式図である。
【図２６】図２２に示す連続する２０フレームのそれぞれに、第３マスク画像が重ねられた状態を示す模式図である。
【図２７】図２２に示す連続する２０フレームのそれぞれに、第１マスク画像が重ねられた状態を示す模式図である。
【図２８】未溶融鉱石が落下していない状態での平均値画像から生成された第１マスク画像、未溶融鉱石が落下していない状態での標準偏差画像から生成された第２マスク画像、および、第３マスク画像の一例を示す模式図である。
【図２９】図２に示す連続する２０フレームのそれぞれに、第３マスク画像が重ねられた状態を示す模式図である。
【図３０】第２変形例の動作を説明するフローチャートである。
【発明を実施するための形態】
【００２６】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。
【００２７】
図１は、高炉１００の一例の下部付近の断面模式図である。高炉１００の下部の壁面には、羽口１０１が形成されている。高炉１００の外部に配置された送風管１０２から高温空気１０３が羽口１０１を介して、高炉１００内に高速で送られている。これにより、羽口１０１から高炉１００の内部に向けて、レースウェイ１０４と称される空間が形成されている。ＰＣランス１０５から微粉炭１０６が羽口１０１を介して、レースウェイ１０４内に高速で送られている。
【００２８】
送風管１０２は２つに分岐しており、一方は高温空気１０３の発生源とつながっており、他方の開口端には羽口覗き窓１０７が取り付けられている。カメラ１０８は、羽口覗き窓１０７からレースウェイ１０４の動画Ｖ（時系列画像）を撮影する。
【００２９】
図２は、レースウェイ１０４の動画Ｖに含まれる、連続する２０フレームの一例を示す模式図である。動画Ｖはカラーであり、動画Ｖの一フレームが、レースウェイ１０４の画像Ｉｍ１の一つである。図３は、レースウェイ１０４の画像Ｉｍ１の一例を示す模式図である。画像Ｉｍ１は、コークスの燃焼領域Ｒ１−ａ、微粉炭の燃焼領域Ｒ１−ｂ、ＰＣランス領域Ｒ２、および、背景領域Ｒ３を含む。背景領域Ｒ３と他の領域との境界が羽口１０１の輪郭Ｒ４を示している。コークスの燃焼領域Ｒ１−ａと微粉炭の燃焼領域Ｒ１−ｂとを総称する場合、燃焼領域Ｒ１と記載する。
【００３０】
燃焼領域Ｒ１（コークスの燃焼領域Ｒ１−ａ、微粉炭の燃焼領域Ｒ１−ｂ）は、グレーで示されている。ＰＣランス領域Ｒ２および背景領域Ｒ３は、黒で示されている。図２、図４、図１１、図１３、図１５、図１７および図２２についても同様である。
【００３１】
図４は、図３に示す画像Ｉｍ１において、コークスの燃焼領域Ｒ１−ａ、微粉炭の燃焼領域Ｒ１−ｂ、ＰＣランス領域Ｒ２、背景領域Ｒ３のそれぞれに設定されたサンプル領域（１）〜（４）を示す図である。サンプル領域（１）は、コークスの燃焼領域Ｒ１−ａに設定されている。サンプル領域（２）は、微粉炭の燃焼領域Ｒ１−ｂに設定されている。サンプル領域（３）は、ＰＣランス領域Ｒ２に設定されている。サンプル領域（４）は、背景領域Ｒ３に設定されている。
【００３２】
図５は、サンプル領域（１）〜（４）のそれぞれの平均輝度値と時間との関係を示すグラフである。縦軸は、平均輝度値を示す。横軸は、時間として、１番目〜１００番目のフレーム（レースウェイ１０４の画像Ｉｍ１）の順番を示す。
【００３３】
平均輝度値は、コークスの燃焼領域Ｒ１−ａのサンプル領域（１）、微粉炭の燃焼領域R１−ｂのサンプル領域（２）、ＰＣランス領域Ｒ２のサンプル領域（３）、背景領域Ｒ３のサンプル領域（４）の順に高い。これは、平均輝度値が、コークスの燃焼領域Ｒ１−ａ、微粉炭の燃焼領域R１−ｂ、ＰＣランス領域Ｒ２、背景領域Ｒ３の順に高いことを示す。
【００３４】
コークスの燃焼領域Ｒ１−ａのサンプル領域（１）、および、微粉炭の燃焼領域Ｒ１−ｂのサンプル領域（２）は、平均輝度値の時間変動量が大きい。これは、コークスの燃焼領域Ｒ１−ａ、および、微粉炭の燃焼領域Ｒ１−ｂは、平均輝度値の時間変動量が大きいことを示す。
【００３５】
ＰＣランス領域Ｒ２のサンプル領域（３）は、平均輝度値の時間変動量が僅かである。これは、ＰＣランス領域Ｒ２の平均輝度値の時間変動量が僅かであることを示す。
【００３６】
背景領域Ｒ３のサンプル領域（４）は、平均輝度値がほぼ一定である。これは、背景領域Ｒ３の平均輝度値がほぼ一定であることを示す。
【００３７】
実施形態に係る画像処理装置１は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖを画像処理する。図６は、実施形態に係る画像処理装置１のブロック図である。画像処理装置１は、制御処理部２と、ＩＦ部３と、入力部４と、出力部５と、を備える。制御処理部２は、画像処理装置１の全体を統括し、画像処理装置１の動作に必要な制御および処理をする。制御処理部２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等のハードウェア、制御処理部２の機能を実行するためのプログラムおよびデータ等によって実現される。
【００３８】
ＩＦ部３は、制御処理部２に接続され、制御処理部２の制御に従って、外部の機器との間で画像、情報等を入出力する。例えば、ＩＦ部３は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖが入力し、これらを制御処理部２へ送る。ＩＦ部３は、入出力インターフェース回路によって実現される。
【００３９】
入力部４は、制御処理部２に接続され、オペレータが、各種の情報、データ、命令等を入力するための装置である。入力部４は、マウス、キーボード、タッチパネル等により実現される。出力部５は、制御処理部２に接続され、制御処理部２の制御に従って、入力部４から入力されたコマンド、データ、および、画像処理後の動画Ｖ等を出力する装置である。出力部５は、液晶ディスプレイ、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ  ｄｉｓｐｌａｙ）等により実現される。
【００４０】
制御処理部２は、機能ブロックとして、記憶部２１と、第１生成部２２と、第２生成部２３と、抽出部２４と、算出部２５と、を備える。
【００４１】
記憶部２１は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖ等を記憶する。
【００４２】
第１生成部２２は、カメラ１０８が高炉１００の羽口１０１を通してレースウェイ１０４を複数の時刻で撮影することにより得られた、レースウェイ１０４の複数の画像Ｉｍ１を用いて、同じ位置の画素の平均値を示す平均値画像Ｉｍ２を生成する。第１生成部２２は、平均値が選択される複数の画像Ｉｍ１の範囲を時間軸に沿って移動させて（移動平均）、平均値画像Ｉｍ２を生成する。平均値画像Ｉｍ２は、代表値画像の一例である。平均値の換わりに中央値、最頻値でもよい。
【００４３】
レースウェイ１０４の複数の画像Ｉｍ１は、時系列に並ぶ画像Ｉｍ１である。動画Ｖの場合、動画Ｖの一部（複数のフレーム）が、レースウェイ１０４の複数の画像Ｉｍ１となる。レースウェイ１０４の複数の画像Ｉｍ１は、連続する所定数のフレームでもよいし、連続するフレームの中から飛び飛びに選択された所定数のフレームでもよい。
【００４４】
図７は、レースウェイ１０４の複数の画像Ｉｍ１と平均値画像Ｉｍ２との関係を説明する説明図である。レースウェイ１０４の複数の画像Ｉｍ１の数が、Ｎ（Ｎは２以上の整数）とする。各画像Ｉｍ１を構成する画素数がＭとする（Ｍは整数）。１番目の画像Ｉｍ１−１〜Ｎ番目の画像Ｉｍ１−Ｎにおいて、１番目の画素の値の平均値が、平均値画像Ｉｍ２を構成する１番目の画素の値となり、２番目の画素の値の平均値が、平均値画像Ｉｍ２を構成する２番目の画素の値となり、・・・、Ｍ番目の画素の値の平均値が、平均値画像Ｉｍ２を構成するＭ番目の画素の値となる。
【００４５】
第２生成部２３は、平均値画像Ｉｍ２を用いて、第１マスク画像Ｍ１を生成する。図８は、平均値画像Ｉｍ２、および、この画像から生成された第１マスク画像Ｍ１の一例を示す模式図である。第２生成部２３は、平均値画像Ｉｍ２をグレースケールの画像に変換する。次に、第２生成部２３は、グレースケールに変換された平均値画像Ｉｍ２を第１しきい値で二値化することにより、背景領域Ｒ３およびＰＣランス領域Ｒ２を含む低輝度領域に対応する第１マスク領域Ｒ１１、および、燃焼領域Ｒ１に対応する第１非マスク領域Ｒ１２を有する第１マスク画像Ｍ１を生成する。第１しきい値は、予め生成された平均値画像Ｉｍ２に含まれる燃焼領域Ｒ１、ＰＣランス領域Ｒ２、背景領域Ｒ３のそれぞれの平均輝度値を基にして、オペレータ（ユーザ）が予め第２生成部２３に設定をする。
【００４６】
抽出部２４は、レースウェイ１０４の複数の画像Ｉｍ１の撮影後にカメラ１０８がレースウェイ１０４を撮影することにより得られたレースウェイ１０４の画像Ｉｍ１に、第１マスク画像Ｍ１をマスクして、燃焼領域Ｒ１を抽出する。図９は、第１マスク画像Ｍ１の基になるレースウェイ１０４の複数の画像Ｉｍ１、および、第１マスク画像Ｍ１でマスクされるレースウェイ１０４の画像Ｉｍ１の関係を説明する説明図である。
【００４７】
時刻ｔ１〜時刻ｔ７に撮影されたレースウェイ１０４の複数の画像Ｉｍ１は、７つの連続するフレームを示している。複数の画像Ｉｍ１の数を５つとする。カメラ１０８が時刻ｔ６で撮影したレースウェイ１０４の画像Ｉｍ１が制御処理部２に送られてきたとき、第１生成部２２は、直近に撮影されたレースウェイ１０４の５つの画像Ｉｍ１、すなわち、時刻ｔ１〜時刻ｔ５に撮影されたレースウェイ１０４の５つの画像Ｉｍ１を用いて、平均値画像Ｉｍ２を生成する。第２生成部２３は、この平均値画像Ｉｍ２を用いて第１マスク画像Ｍ１を生成する。抽出部２４は、この第１マスク画像Ｍ１をマスクにして、時刻ｔ６に撮影されたレースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する。
【００４８】
次に、カメラ１０８が時刻ｔ７で撮影したレースウェイ１０４の画像Ｉｍ１が制御処理部２に送られてきたとき、第１生成部２２は、直近に撮影されたレースウェイ１０４の５つの画像Ｉｍ１、すなわち、時刻ｔ２〜時刻ｔ６に撮影されたレースウェイ１０４の５つの画像Ｉｍ１を用いて、平均値画像Ｉｍ２を生成する。第２生成部２３は、この平均値画像Ｉｍ２を用いて第１マスク画像Ｍ１を生成する。抽出部２４は、この第１マスク画像Ｍ１をマスクにして、時刻ｔ７に撮影されたレースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する。図２に示す連続する２０フレームのそれぞれについて、第１マスク画像Ｍ１がマスクした状態を示す模式図を図１０で示す。図１０において、マスクされている領域（第１マスク領域Ｒ１１）は、白で示されている。マスクされていない領域（第１非マスク領域Ｒ１２）は、グレーで示されている。
【００４９】
以上のようにして、画像処理装置１は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖを構成する各フレーム（レースウェイ１０４の各画像Ｉｍ１）からリアルタイムに燃焼領域Ｒ１を抽出する。
【００５０】
図６を参照して、算出部２５は、抽出部２４によって抽出された燃焼領域Ｒ１の平均輝度値を算出する。平均輝度値に限定されず、燃焼領域Ｒ１の代表値であればよい（例えば、中央値、最頻値である。出力部５は、算出された平均輝度値を出力する。
【００５１】
図１に示す送風管１０２の内周面に堆積物が形成されていても、実施形態によれば、この影響を受けずに、燃焼領域Ｒ１を抽出できる。これについて説明する。図１１は、送風管１０２の内周面に堆積物が形成された状態で撮影されたレースウェイ１０４の画像Ｉｍ１の一例を示す模式図である。図１１と図３を比べれば分かるように、図１１の下部において、背景領域Ｒ３の面積が大きい。これは、送風管１０２の内周面に形成された堆積物が原因である。
【００５２】
図１２は、送風管１０２の内周面に堆積物が形成された状態での平均値画像Ｉｍ２、および、この画像から生成された第１マスク画像Ｍ１の一例を示す模式図である。図１３は、送風管１０２の内周面に堆積物が形成された状態でのレースウェイ１０４の動画Ｖに含まれる、連続する２０フレームの一例を示す模式図である。図１４は、図１３に示す連続する２０フレームのそれぞれに、第１マスク画像Ｍ１が重ねられた状態を示す模式図である。図１４において、マスクされている領域（第１マスク領域Ｒ１１）は、白で示されている。マスクされていない領域（第１非マスク領域Ｒ１２）は、グレーで示されている。図１４と図１０とを比較すれば分かるように、図１４の各フレームにおいて、送風管１０２の内周面に形成された堆積物が原因となる背景領域Ｒ３は、第１マスク領域Ｒ１１（図１２）で覆われている。従って、送風管１０２の内周面に形成された堆積物の影響を受けずに、燃焼領域Ｒ１の抽出が可能である。
【００５３】
図１に示す羽口覗き窓１０７において、カメラ１０８が配置される側と反対側の面は、高炉１００内で発生した煤等が原因で汚れる。羽口覗き窓１０７が汚れていても、実施形態によれば、この影響を受けずに、燃焼領域Ｒ１を抽出できる。これについて説明する。図１５は、羽口覗き窓１０７が汚れた状態で撮影されたレースウェイ１０４の画像Ｉｍ１の一例を示す模式図である。図１５と図３とを比較すれば分かるように、図１５において、燃焼領域Ｒ１の面積が小さく、かつ、輝度値が低い。これは、羽口覗き窓１０７の汚れが原因である。
【００５４】
図１６は、羽口覗き窓１０７が汚れた状態での平均値画像Ｉｍ２、および、この画像から生成された第１マスク画像Ｍ１の一例を示す模式図である。図１７は、羽口覗き窓１０７が汚れた状態でのレースウェイ１０４の動画Ｖに含まれる、連続する２０フレームの一例を示す模式図である。図１８は、図１７に示す連続する２０フレームのそれぞれに、第１マスク画像Ｍ１が重ねられた状態を示す模式図である。図１８において、マスクされている領域（第１マスク領域Ｒ１１）は、白で示されている。マスクされていない領域（第１非マスク領域Ｒ１２）は、グレーで示されている。図１８と図１０とを比較すれば分かるように、羽口覗き窓１０７が汚れているので、図１８の各フレームにおいて、燃焼領域Ｒ１を抽出するための第１非マスク領域Ｒ１２（図１６）の面積は小さいが、第１非マスク領域Ｒ１２は確保されている。従って、羽口覗き窓１０７が汚れの影響を受けずに、燃焼領域Ｒ１の抽出が可能である。
【００５５】
当初、送風管１０２の内周面に堆積物が形成されておらず、かつ、羽口覗き窓１０７が汚れていなくても、時間の経過に従って、送風管１０２の内周面に堆積物が形成されたり、羽口覗き窓１０７が汚れたりすることがある。実施形態によれば、第１マスク画像Ｍ１の基になる平均値画像Ｉｍ２は、移動平均を用いて生成するので、第１マスク領域Ｒ１１および第２非マスク領域Ｒ２２を時間の経過に従って変化させることができる。従って、実施形態によれば、そのような事態が生じても、燃焼領域Ｒ１を安定して抽出することができる。
【００５６】
実施形態に係る画像処理装置１の動作について説明する。図１９は、この動作を説明するフローチャートである。図６および図１９を参照して、制御処理部２は、カメラ１０８から送られてきているレースウェイ１０４の動画Ｖを記憶部２１に記憶させる。オペレータは、入力部４を用いて、燃焼領域Ｒ１の平均輝度値を出力する命令を制御処理部２に入力する。画像処理装置１は、以降、カメラ１０８から送られてくるレースウェイ１０４の動画Ｖの各フレーム（各レースウェイ１０４の画像Ｉｍ１）について燃焼領域Ｒ１を抽出し、燃焼領域Ｒ１の平均輝度値を出力する。詳しく説明する。
【００５７】
制御処理部２は、ＩＦ部３にフレーム（レースウェイ１０４の画像Ｉｍ１）が入力したか否かを判断する（Ｓ１）。制御処理部２は、ＩＦ部３にフレームが入力していないと判断したとき（Ｓ１でＮｏ）、処理Ｓ１を繰り返す。
【００５８】
制御処理部２が、ＩＦ部３にフレームが入力したと判断したとき（Ｓ１でＹｅｓ）、第１生成部２２は、このフレームの順番ｎより、一つ前の順番ｎ−１から始まる連続する順番ｎ−１〜ｎ−ｋのフレーム（レースウェイ１０４の複数の画像Ｉｍ１）を用いて、平均値画像Ｉｍ２を生成する（Ｓ２）。
【００５９】
第２生成部２３は、処理Ｓ２で生成された平均値画像Ｉｍ２を用いて第１マスク画像Ｍ１を生成する（Ｓ３）。抽出部２４は、処理Ｓ３で生成された第１マスク画像Ｍ１をマスクにして、順番ｎのフレームから燃焼領域Ｒ１を抽出する（Ｓ４）。
【００６０】
算出部２５は、処理Ｓ４で抽出された燃焼領域Ｒ１の平均輝度値を算出する（Ｓ５）。出力部５は、処理Ｓ５で算出された平均輝度値を出力する（Ｓ６）。
【００６１】
オペレータは、入力部４を用いて、燃焼領域Ｒ１の平均輝度値の出力を停止する命令を制御処理部２に入力することができる。制御処理部２は、燃焼領域Ｒ１の平均輝度値の出力を停止する命令が入力されたか否かを判断する（Ｓ７）。制御処理部２が、燃焼領域Ｒ１の平均輝度値の出力を停止する命令が入力されたと判断したとき（Ｓ７でＹｅｓ）、画像処理装置１は、燃焼領域Ｒ１の平均輝度値を出力する処理を終了する。制御処理部２が、燃焼領域Ｒ１の平均輝度値の出力を停止する命令が入力されていないと判断したとき（Ｓ７でＮｏ）、処理Ｓ１に戻る。以上が実施形態に係る画像処理装置１の動作である。
【００６２】
図３を参照して、本発明者らは、円フィッティングを用いて、レースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する手法を検討した。これは、レースウェイ１０４の画像Ｉｍ１に含まれる羽口１０１の輪郭Ｒ４を円フィッティングして得られたフィッティング領域を燃焼領域Ｒ１とする。フィッティング領域の輝度値の代表値を燃焼領域Ｒ１の輝度値とすることが考えられる。円フィッティングすることにより、フィッティング領域から背景を除くことができるが、ＰＣランス領域Ｒ２は除くことができない。従って、ＰＣランス領域Ｒ２の輝度値の影響を受けて、燃焼領域Ｒ１の輝度値が真値よりも小さくなる。
【００６３】
これを回避するために、フィッティング領域内の輝度値の最大値または第３四分位数を、燃焼領域Ｒ１の輝度値にすることが考えられる。前者は、フィッティング領域内の一つの画素の輝度値が極端に大きい場合、その輝度値が燃焼領域Ｒ１の輝度値にされるので、燃焼領域Ｒ１の輝度値として好ましくない。後者は、フィッティング領域内のＰＣランス１０５（図１）の面積や微粉炭１０６（図１）の面積の影響を受け、これらの面積が大きければ、燃焼領域Ｒ１の輝度値は真値より小さくなる。
【００６４】
また、円フィッティングを用いて燃焼領域Ｒ１を抽出する手法によれば、次のような問題も生じる。羽口１０１とつながる送風管１０２の内周面に堆積物が形成されたり、羽口覗き窓１０７が汚れたりすると、羽口１０１の輪郭Ｒ４は円形に写らずに、ゆがんだ形状に写る（図１１、図１５）。従って、円フィッティングしても、フィッティング領域から背景を除くことはできない。
【００６５】
以上説明したように、円フィッティングを用いて燃焼領域Ｒ１を抽出する手法では、燃焼領域Ｒ１の抽出精度が良くない。
【００６６】
図４および図５を参照して、燃焼領域Ｒ１の輝度値が、燃焼領域Ｒ１以外の領域（ＰＣランス領域Ｒ２、背景領域Ｒ３等）の輝度値より大きいことを基にして、本発明者らは、しきい値を用いてレースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する手法を検討した。しかしながら、燃焼領域Ｒ１のうち、微粉炭の燃焼領域Ｒ１−ｂの輝度値は、燃焼領域Ｒ１以外の領域（ＰＣランス領域Ｒ２、背景領域Ｒ３等）の輝度値より大きいが、その差は比較的小さい。そして、微粉炭の燃焼領域Ｒ１−ｂの輝度値は、時間変動量が大きいので、燃焼領域Ｒ１以外の領域の輝度値と同じ程度になることがある。従って、しきい値を用いてレースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する手法では、燃焼領域Ｒ１のうち、微粉炭の燃焼領域Ｒ１−ｂを抽出することができない。
【００６７】
このように、円フィッティングを用いてレースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する手法や、しきい値を用いてレースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する手法では、燃焼領域Ｒ１の抽出精度が良くない。
【００６８】
これに対して、実施形態によれば、燃焼領域Ｒ１の抽出精度を向上させることができる。詳しく説明する。平均値画像Ｉｍ２（代表値画像の一例、図７、図８）の各画素は、レースウェイ１０４の複数の画像Ｉｍ１（時系列画像）を用いて生成された、これらの画像Ｉｍ１の同じ位置にある画素の平均値を示す。このため、微粉炭の燃焼領域Ｒ１−ｂの輝度値の時間変動量が大きくても、平均値画像Ｉｍ２において、微粉炭の燃焼領域Ｒ１−ｂの輝度値は、常に、燃焼領域Ｒ１以外の領域（ＰＣランス領域Ｒ２、背景領域Ｒ３等）の輝度値より高くすることが可能となる。第１マスク画像Ｍ１は、平均値画像Ｉｍ２を用いて生成される。従って、第１マスク画像Ｍ１をマスクにして、レースウェイ１０４の画像Ｉｍ１に対して燃焼領域Ｒ１が抽出されたとき、燃焼領域Ｒ１以外の領域が一緒に抽出されてしまうことを防止できる。
【００６９】
微粉炭１０６（図１）の燃焼において、中心部は燃焼していないか、または、燃焼の勢いが弱く、周辺部は燃焼の勢いが強い。よって、微粉炭の燃焼領域Ｒ１−ｂの中心部は、周辺部よりも輝度値が低いことが想定される。従って、燃焼領域Ｒ１の輝度値の評価において、微粉炭の燃焼領域Ｒ１−ｂの中心部の輝度値が含まれてしまうと、燃焼領域Ｒ１の輝度値を正しく評価できないおそれがある。実施形態によれば、上記理由により、レースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出するとき、微粉炭の燃焼領域Ｒ１−ｂの中心部もマスクすることが可能となる。
【００７０】
実施形態には、第１変形例と第２変形例がある。これらについて、実施形態と相違する点を中心に説明する。第１変形例から説明する。図６を参照して、第１変形例の第２生成部２３は、第１非マスク領域Ｒ１２を収縮処理する。これについて、図２０を用いて説明する。図２０は、平均値画像Ｉｍ２、この画像から生成された第１マスク画像Ｍ１、および、収縮処理がされた第１マスク画像Ｍ４の一例を示す模式図である。平均値画像Ｉｍ２および第１マスク画像Ｍ１は、図８に示す平均値画像Ｉｍ２および第１マスク画像Ｍ１と同じである。第１マスク画像Ｍ１の第１非マスク領域Ｒ１２が収縮処理されているので、収縮処理がされた第１マスク画像Ｍ４の第１非マスク領域Ｒ１２は、第１マスク画像Ｍ１の第１非マスク領域Ｒ１２より面積が小さい。
【００７１】
抽出部２４は、収縮処理がされた第１マスク画像Ｍ４をマスクにして、レースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する。
【００７２】
図１を参照して、高炉１００の羽口１０１の付近は、温度変化が急激なので、カメラ１０８と羽口１０１との間の空間の屈折率が絶えず変化する。この結果、動画Ｖに写された燃焼領域Ｒ１が上下左右に揺らぐ。このため、第１マスク画像Ｍ１の第１非マスク領域Ｒ１２が燃焼領域Ｒ１を超えて、ＰＣランス領域Ｒ２や背景領域Ｒ３まで拡大する。そこで、第１変形例は、第１非マスク領域Ｒ１２の収縮処理を所定回数することにより、第１非マスク領域Ｒ１２がＰＣランス領域Ｒ２や背景領域Ｒ３に及ばないようにする。収縮処理の回数は、この観点から定められる。
【００７３】
抽出部２４は、収縮処理がされた第１マスク画像Ｍ４をマスクにして、レースウェイ１０４の画像Ｉｍ１から燃焼領域Ｒ１を抽出する。図２に示す連続する２０フレームのそれぞれについて、収縮処理がされた第１マスク画像Ｍ４がマスクした状態を示す模式図を図２１で示す。図２１において、マスクされている領域（第１マスク領域Ｒ１１）は、白で示されている。マスクされていない領域（第１非マスク領域Ｒ１２）は、グレーで示されている。この第１マスク画像Ｍ４によれば、図１０に示す第１マスク画像Ｍ１に比べて、第１非マスク領域Ｒ１２（図２０）がＰＣランス領域Ｒ２や背景領域Ｒ３に広がることを抑制できる。従って、燃焼領域Ｒ１の抽出精度をさらに向上させることができる。
【００７４】
第２変形例を説明する。第２変形例は、燃焼領域Ｒ１に加えて、未溶融鉱石（未還元鉱石）が落下する領域を示す生鉱落ち領域を抽出する。図１を参照して、高炉１００では、不図示の未溶融鉱石がレースウェイ１０４に落下してくることがある。これは、数秒間で終わることもあるし、数分間続くこともある。未溶融鉱石がレースウェイ１０４に落下することにより、送風管１０２が損傷したり、詰まったりするおそれがあるので、未溶融鉱石がレースウェイ１０４に落下しているとき、オペレータが直ちにこれを認識できるようにする必要がある。
【００７５】
図２２は、未溶融鉱石が落下している状態でのレースウェイ１０４の動画Ｖに含まれる、連続する２０フレームの一例を示す模式図である。図２２と図２とを比較すれば分かるように、レースウェイ１０４に未溶融鉱石が落下していると、画像Ｉｍ１の全体において、輝度値が小さくなる。生鉱落ち領域の輝度値は、燃焼領域Ｒ１の輝度値よりも低く、ＰＣランス領域Ｒ２や背景領域Ｒ３の輝度値と近い。このため、平均値画像Ｉｍ２を用いて生成される第１マスク画像Ｍ１では、生鉱落ち領域を抽出することができない。
【００７６】
生鉱落ち領域は、輝度の時間変動量が大きいので、標準偏差画像Ｉｍ３によれば、生鉱落ち領域は、ＰＣランス領域Ｒ２や背景領域Ｒ３と区別することができる。第２変形例は、燃焼領域Ｒ１と生鉱落ち領域の両方を抽出すらために、平均値画像Ｉｍ２と標準偏差画像Ｉｍ３とを基にして生成された第３マスク画像Ｍ３を用いる。
【００７７】
図２３は、第２変形例に係る画像処理装置１ａのブロック図である。画像処理装置１ａの制御処理部２は、記憶部２１、第１生成部２２、第２生成部２３、抽出部２４および算出部２５に加えて、第３生成部２６、第４生成部２７および第５生成部２８を備える。
【００７８】
第３生成部２６は、平均値画像Ｉｍ２の生成に用いたレースウェイ１０４の複数の画像Ｉｍ１を用いて、同じ位置の画素の標準偏差を示す標準偏差画像Ｉｍ３を生成する。第３生成部２６は、同じ位置の画素の標準偏差が選択される複数の画像Ｉｍ１を時間軸に沿って移動させて（移動標準偏差）、標準偏差画像Ｉｍ３を生成する。標準偏差画像Ｉｍ３は、ばらつき画像の一例である。標準偏差の換わりに分散でもよい。
【００７９】
図２４は、レースウェイ１０４の複数の画像Ｉｍ１と標準偏差画像Ｉｍ３との関係を説明する説明図である。レースウェイ１０４の複数の画像Ｉｍ１の数が、Ｎ（Ｎは２以上の整数）とする。各画像Ｉｍ１を構成する画素数がＭとする（Ｍは整数）。１番目の画像Ｉｍ１−１〜Ｎ番目の画像Ｉｍ１−Ｎにおいて、１番目の画素の値の標準偏差が、標準偏差画像Ｉｍ３を構成する１番目の画素の値となり、２番目の画素の値の標準偏差が、標準偏差画像Ｉｍ３を構成する２番目の画素の値となり、・・・、Ｍ番目の画素の値の標準偏差が、標準偏差画像Ｉｍ３を構成するＭ番目の画素の値となる。第３生成部２６は、第１生成部２２による図７に示す平均値画像Ｉｍ２の生成と並行して、標準偏差画像Ｉｍ３を生成する。
【００８０】
第４生成部２７は、標準偏差画像Ｉｍ３を用いて、第２マスク画像Ｍ２を生成する。図２５は、平均値画像Ｉｍ２、この画像から生成された第１マスク画像Ｍ１、標準偏差画像Ｉｍ３、この画像から生成された第２マスク画像Ｍ２、および、第３マスク画像Ｍ３の一例を示す模式図である。図２３および図２５を参照して、第４生成部２７は、標準偏差画像Ｉｍ３をグレースケールの画像に変換する。次に、第４生成部２７は、グレースケールに変換された標準偏差画像Ｉｍ３を第２しきい値で二値化することにより、輝度値の時間変動量が小さい領域に対応する第２マスク領域Ｒ２１、および、この時間変動量が大きい領域に対応する第２非マスク領域Ｒ２２を有する第２マスク画像Ｍ２を生成する。第２しきい値は、予め生成された標準偏差画像Ｉｍ３に含まれる生鉱落ち領域、燃焼領域Ｒ１、ＰＣランス領域Ｒ２、背景領域Ｒ３のそれぞれの平均輝度値を基にして、オペレータ（ユーザ）が予め第４生成部２７に設定をする。
【００８１】
第１生成部２２は、第３生成部２６による標準偏差画像Ｉｍ３の生成と並行して、平均値画像Ｉｍ２を生成する。第２生成部２３は、平均値画像Ｉｍ２を第１しきい値で二値化することにより、第１マスク画像Ｍ１を生成する。
【００８２】
第５生成部２８は、第３マスク画像Ｍ３を生成する。第３マスク画像Ｍ３は、第１マスク画像Ｍ１に含まれる第１非マスク領域Ｒ１２と、第２マスク画像Ｍ２に含まれる第２非マスク領域Ｒ２２との論理和を示す第３非マスク領域Ｒ３２を有する。第３非マスク領域Ｒ３２以外の領域が、第３マスク領域Ｒ３１となる。
【００８３】
図２６は、図２２に示す連続する２０フレームのそれぞれに、第３マスク画像Ｍ３が重ねられた状態を示す模式図である。これと比較するために図２７を示す。図２７は、図２２に示す連続する２０フレームのそれぞれに、第１マスク画像Ｍ１が重ねられた状態を示す模式図である。図２６および図２７において、マスクされている領域（第３マスク領域Ｒ３１）は、白で示されている。マスクされていない領域（第３非マスク領域Ｒ３２）は、グレーで示されている。第３マスク画像Ｍ３を用いれば、燃焼領域Ｒ１（薄いグレー領域）と生鉱落ち領域Ｒ６（濃いグレー領域）とを抽出できることが分かる。
【００８４】
第２マスク画像Ｍ２（図２５）を用いれば、生鉱落ち領域Ｒ６を抽出することができる。そして、燃焼領域Ｒ１の輝度値の時間変動量が大きい状態の場合、第２マスク画像Ｍ２で燃焼領域Ｒ１も抽出することができる。しかし、燃焼領域Ｒ１の輝度値の時間変動量が小さい状態の場合、第２マスク画像Ｍ２で燃焼領域Ｒ１を抽出することができない。そこで、第２変形例では、燃焼領域Ｒ１の輝度値の時間変動量が小さい状態の場合でも燃焼領域Ｒ１を抽出できるように、第３マスク画像Ｍ３を用いる。
【００８５】
未溶融鉱石が落下していない状態で作成された第３マスク画像Ｍ３について説明する。図２８は、未溶融鉱石が落下していない状態での平均値画像Ｉｍ２から生成された第１マスク画像Ｍ１、未溶融鉱石が落下していない状態での標準偏差画像Ｉｍ３から生成された第２マスク画像Ｍ２、および、第３マスク画像Ｍ３の一例を示す模式図である。図２９は、図２に示す連続する２０フレームのそれぞれに、第３マスク画像Ｍ３が重ねられた状態を示す模式図である。図２９において、マスクされている領域（第３マスク領域Ｒ３１）は、白で示されている。マスクされていない領域（第３非マスク領域Ｒ３２）は、グレーで示されている。図２９および図１０を参照して、第３マスク画像Ｍ３によっても、第１マスク画像Ｍ１の場合と同様な燃焼領域Ｒ１で抽出できる。従って、第３マスク画像Ｍ３は、未溶融鉱石がレースウェイ１０４に落下していない状態の場合、第１マスク画像Ｍ１と同様に燃焼領域Ｒ１の抽出精度が高いことが分かる。
【００８６】
第２変形例の動作を説明する。図３０は、この動作を説明するフローチャートである。図２３および図３０を参照して、制御処理部２は、カメラ１０８から送られてきているレースウェイ１０４の動画Ｖを記憶部２１に記憶させる。オペレータは、入力部４を用いて、燃焼領域Ｒ１および生鉱落ち領域Ｒ６の平均輝度値を出力する命令を制御処理部２に入力する。画像処理装置１ａは、以降、カメラ１０８から送られてくるレースウェイ１０４の動画Ｖの各フレームについて燃焼領域Ｒ１および生鉱落ち領域Ｒ６を抽出し、これらの領域の平均輝度値を出力する。詳しく説明する。
【００８７】
制御処理部２は、ＩＦ部３にフレーム（レースウェイ１０４の画像Ｉｍ１）が入力したか否かを判断する（Ｓ１１）。制御処理部２は、ＩＦ部３にフレームが入力していないと判断したとき（Ｓ１１でＮｏ）、処理Ｓ１１を繰り返す。
【００８８】
制御処理部２が、ＩＦ部３にフレームが入力したと判断したとき（Ｓ１１でＹｅｓ）、第１生成部２２、第３生成部２６は、それぞれ、このフレームの順番ｎより、一つ前の順番ｎ−１から始まる連続する順番ｎ−１〜ｎ−ｋのフレーム（レースウェイ１０４の複数の画像Ｉｍ１）を用いて、平均値画像Ｉｍ２、標準偏差画像Ｉｍ３を生成する（Ｓ１２）。
【００８９】
図２３、図２５および図３０を参照して、第２生成部２３は、処理Ｓ１２で生成された平均値画像Ｉｍ２を用いて第１マスク画像Ｍ１を生成し、第４生成部２７は、処理Ｓ１２で生成された標準偏差画像Ｉｍ３を用いて第２マスク画像Ｍ２を生成する（Ｓ１３）。第５生成部２８は、処理Ｓ１３で生成された第１マスク画像Ｍ１の第１非マスク領域Ｒ１２と、処理Ｓ１３で生成された第２マスク画像Ｍ２の第２非マスク領域Ｒ２２との論理和を示す第３非マスク領域Ｒ３２を有する第３マスク画像Ｍ３を生成する（Ｓ１４）。
【００９０】
抽出部２４は、処理Ｓ１４で生成された第３マスク画像Ｍ３をマスクにして、順番ｎのフレームから燃焼領域Ｒ１および生鉱落ち領域Ｒ６を抽出する（Ｓ１５）。生鉱落ち領域Ｒ６は、レースウェイ１０４に未溶融鉱石が落下している状態の場合に抽出される。
【００９１】
算出部２５は、処理Ｓ１６で抽出された領域の平均輝度値を算出する（Ｓ１６）。出力部５は、処理Ｓ１６で算出された平均輝度値を出力する（Ｓ１７）。オペレータは、平均輝度値を参考にして、燃焼領域Ｒ１の状態を判断したり、未溶融鉱石がレースウェイ１０４に落下しているか否かを判断したりする。
【００９２】
オペレータは、入力部４を用いて、燃焼領域Ｒ１および生鉱落ち領域Ｒ６の平均輝度値の出力を停止する命令を制御処理部２に入力することができる。制御処理部２は、燃焼領域Ｒ１および生鉱落ち領域Ｒ６の平均輝度値の出力を停止する命令が入力されたか否かを判断する（Ｓ１８）。制御処理部２が、燃焼領域Ｒ１および生鉱落ち領域Ｒ６の平均輝度値の出力を停止する命令が入力されたと判断したとき（Ｓ１８でＹｅｓ）、画像処理装置１ａは、燃焼領域Ｒ１および生鉱落ち領域Ｒ６の平均輝度値を出力する処理を終了する。制御処理部２が、燃焼領域Ｒ１および生鉱落ち領域Ｒ６の平均輝度値の出力を停止する命令が入力されていないと判断したとき（Ｓ１８でＮｏ）、処理Ｓ１１に戻る。
【符号の説明】
【００９３】
１，１ａ  画像処理装置
１００  高炉
１０１  羽口
１０２  送風管
１０３  高温空気
１０４  レースウェイ
１０５  ＰＣランス
１０６  微粉炭
１０７  羽口覗き窓
１０８  カメラ
Ｉｍ１  画像（レースウェイの画像）
Ｉｍ２  平均値画像（代表値画像の一例）
Ｉｍ３  標準偏差画像（ばらつき画像の一例）
Ｍ１  第１マスク画像
Ｍ２  第２マスク画像
Ｍ３  第３マスク画像
Ｍ４  収縮処理がされた第１マスク画像
Ｒ１  燃焼領域
Ｒ１−ａ  コークスの燃焼領域
Ｒ１−ｂ  微粉炭の燃焼領域
Ｒ２  ＰＣランス領域
Ｒ３  背景領域
Ｒ４  羽口の輪郭
Ｒ６  生鉱落ち領域
Ｒ１１  第１マスク領域
Ｒ１２  第１非マスク領域
Ｒ２１  第２マスク領域
Ｒ２２  第２非マスク領域
Ｒ３１  第３マスク領域
Ｒ３２  第３非マスク領域
Ｖ  動画
【図１】
2020200528.tif 000003
【図２】
2020200528.tif 000004
【図３】
2020200528.tif 000005
【図４】
2020200528.tif 000006
【図５】
2020200528.tif 000007
【図６】
2020200528.tif 000008
【図７】
2020200528.tif 000009
【図８】
2020200528.tif 000010
【図９】
2020200528.tif 000011
【図１０】
2020200528.tif 000012
【図１１】
2020200528.tif 000013
【図１２】
2020200528.tif 000014
【図１３】
2020200528.tif 000015
【図１４】
2020200528.tif 000016
【図１５】
2020200528.tif 000017
【図１６】
2020200528.tif 000018
【図１７】
2020200528.tif 000019
【図１８】
2020200528.tif 000020
【図１９】
2020200528.tif 000021
【図２０】
2020200528.tif 000022
【図２１】
2020200528.tif 000023
【図２２】
2020200528.tif 000024
【図２３】
2020200528.tif 000025
【図２４】
2020200528.tif 000026
【図２５】
2020200528.tif 000027
【図２６】
2020200528.tif 000028
【図２７】
2020200528.tif 000029
【図２８】
2020200528.tif 000030
【図２９】
2020200528.tif 000031
【図３０】
2020200528.tif 000032