(57)【要約】【課題】レースウェイ内の旋回コークスの挙動調査を支援する。【解決手段】画像処理装置１は、カメラ１０８が高炉１００の羽口１０１を通してレースウェイ１０４を撮影することにより得られた、レースウェイ１０４の時系列画像（動画Ｖ）に対して、レースウェイ１０４内の旋回コークスを追跡することができる画像処理をする追跡部２２を備える。【選択図】図２
2020204053.tif 000002
【特許請求の範囲】
【請求項１】
カメラが高炉の羽口を通してレースウェイを撮影することにより得られた、前記レースウェイの時系列画像に対して、前記レースウェイ内の旋回コークスを追跡することができる画像処理をする追跡部を備える、画像処理装置。
【請求項２】
微粉炭の燃焼領域の中心部、ＰＣランス領域、および、背景領域を含む低輝度領域に対応するマスク領域と、コークスの燃焼領域、前記旋回コークスを示す領域、および、前記微粉炭の燃焼領域のうち前記中心部を除く周辺部を含む高輝度領域に対応する非マスク領域と、を有するマスク画像を、前記時系列画像を構成する各画像にマスクして、前記高輝度領域を抽出する抽出部をさらに備え、
前記追跡部は、前記時系列画像を構成する各画像から抽出された前記高輝度領域に対して、前記画像処理をする、請求項１に記載の画像処理装置。
【請求項３】
前記時系列画像に含まれる、前記レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成部と、
前記代表値画像をしきい値で二値化することにより、前記非マスク領域と前記マスク領域を有する前記マスク画像を生成する第２生成部と、をさらに備え、
前記抽出部は、前記時系列画像に含まれており、前記複数の画像の撮影後に前記カメラが前記レースウェイを撮影することにより得られた画像に、前記マスク画像をマスクして前記高輝度領域を抽出する、請求項２に記載の画像処理装置。
【請求項４】
前記第１生成部は、前記代表値が選択される前記複数の画像の範囲を時間軸に沿って移動させて前記代表値画像を生成する、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理は、オプティカルフローを算出する処理を含む、請求項１〜４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画像処理装置は、前記オプティカルフローの算出結果を基にして、前記旋回コークスの挙動の指標を算出する算出部をさらに備える、請求項５に記載の画像処理装置。
【請求項７】
移動ベクトルの長さの上限値と下限値を設定し、前記オプティカルフローが算出された前記時系列画像を構成する各画像に含まれる前記移動ベクトルのうち、前記上限値より長い前記移動ベクトル、および、前記下限値より短い前記移動ベクトルを、前記オプティカルフローが算出された前記時系列画像を構成する各画像から除去するノイズ除去部をさらに備える、請求項５または６に記載の画像処理装置。
【請求項８】
カメラが高炉の羽口を通してレースウェイを撮影することにより得られた、前記レースウェイの時系列画像に対して、前記レースウェイ内の旋回コークスを追跡することができる画像処理をする追跡ステップを備える、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高炉の羽口を通して撮影されたレースウェイの画像を処理する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
高炉内のレースウェイを、羽口を通してカメラで撮影することが行われている。これにより得られたレースウェイの画像を利用する技術として、例えば、特許文献１に開示された高炉異常検出方法がある。この方法は、高炉の羽口部が閉塞状態となる異常を検出する高炉異常検出方法であって、前記羽口部に設けられた炉内監視用窓を通してレースウェイ部を撮像し、その撮像画像の輝度が予め設定した輝度閾値以下であり、且つ当該輝度の低下率が予め設定した輝度低下率閾値以下であるとき、前記羽口部が閉塞状態となる異常が発生していると判断する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】ＷＯ２０１４／２０３５０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レースウェイ内では、コークスが旋回（コークスが閉ループを描くように移動）している現象が生じていることが知られている。以下、レースウェイ内を旋回するコークスを旋回コークスと記載する。本発明者らは、旋回コークスはレースウェイ内を旋回しているので、レースウェイが正常状態の場合と異常状態の場合では、旋回コークスの挙動（移動速度、移動方向等）が異なると推定した。この推定が正しければ、旋回コークスの挙動は、レースウェイが正常状態か否かを判断する指標の一つになる。
【０００５】
しかし、これまで、本発明者らが知る範囲では、旋回コークスの挙動は調査されていなかった。
【０００６】
本発明の目的は、レースウェイ内の旋回コークスの挙動調査を支援することができる画像処理装置および画像処理方法を提供することである。
【課題を解決するための手段】
【０００７】
本発明の第１局面に係る画像処理装置は、カメラが高炉の羽口を通してレースウェイを撮影することにより得られた、前記レースウェイの時系列画像に対して、前記レースウェイ内の旋回コークスを追跡することができる画像処理をする追跡部を備える。
【０００８】
追跡部が実行する画像処理は、例えば、オプティカルフローである。本発明の第１局面に係る画像処理装置によれば、レースウェイの時系列画像に対して、旋回コークスを追跡することができる画像処理をするので、旋回コークスの挙動調査を支援することができる。
【０００９】
上記構成において、微粉炭の燃焼領域の中心部、ＰＣランス領域、および、背景領域を含む低輝度領域に対応するマスク領域と、コークスの燃焼領域、前記旋回コークスを示す領域、および、前記微粉炭の燃焼領域のうち前記中心部を除く周辺部を含む高輝度領域に対応する非マスク領域と、を有するマスク画像を、前記時系列画像を構成する各画像にマスクして、前記高輝度領域を抽出する抽出部をさらに備え、前記追跡部は、前記時系列画像を構成する各画像から抽出された前記高輝度領域に対して、前記画像処理をする。
【００１０】
レースウェイの画像は、低輝度領域（微粉炭の燃焼領域の中心部、ＰＣランス領域、背景領域）と高輝度領域（コークスの燃焼領域、旋回コークスを示す領域、微粉炭の燃焼領域のうち中心部を除く周辺部）に分けることができる。旋回コークスを示す領域は、高輝度領域に含まれる。このため、旋回コークスの追跡に用いられる画像処理において、低輝度領域はノイズとなる。この構成によれば、時系列画像を構成する各画像から高輝度領域を抽出し、高輝度領域に対して、画像処理をするので、旋回コークスの追跡精度を向上させることができる。
【００１１】
上記構成において、前記時系列画像に含まれる、前記レースウェイの複数の画像を用いて、同じ位置の画素の代表値を示す代表値画像を生成する第１生成部と、前記代表値画像をしきい値で二値化することにより、前記非マスク領域と前記マスク領域を有する前記マスク画像を生成する第２生成部と、をさらに備え、前記抽出部は、前記時系列画像に含まれており、前記複数の画像の撮影後に前記カメラが前記レースウェイを撮影することにより得られた画像に、前記マスク画像をマスクして前記高輝度領域を抽出する。
【００１２】
この構成は、マスク画像を生成する方法の一例である。代表値画像の各画素は、レースウェイの複数の画像を用いて生成された、これらの画像の同じ位置にある画素の代表値（平均値、中央値、最頻値）を示す。
【００１３】
上記構成において、前記第１生成部は、前記代表値が選択される前記複数の画像の範囲を時間軸に沿って移動させて前記代表値画像を生成する。
【００１４】
代表値が平均値を例にすると、この構成は、平均値画像（代表値画像の一例）の生成に移動平均を用いる。この構成によれば、非マスク領域およびマスク領域を時間の経過に従って変化させることができる。従って、高輝度領域と低輝度領域が時間の経過に従って変化しても、これに対応することができる。
【００１５】
上記構成において、前記画像処理装置は、前記オプティカルフローの算出結果を基にして、前記旋回コークスの挙動の指標を算出する算出部をさらに備える。
【００１６】
指標は、例えば、平均ベクトル可視化領域、平均ベクトルのｘ方向成分、平均ベクトルのｙ方向成分、平均ベクトルの長さ（ノルム）、平均ベクトルの移動方向である。平均ベクトル可視化領域とは、オプティカルフローが算出された時系列画像を構成する各画像について、画像に含まれる移動ベクトルを平均した平均ベクトルの向きおよび長さを可視化した領域である。
【００１７】
上記構成において、移動ベクトルの長さの上限値と下限値を設定し、前記オプティカルフローが算出された前記時系列画像を構成する各画像に含まれる前記移動ベクトルのうち、前記上限値より長い前記移動ベクトル、および、前記下限値より短い前記移動ベクトルを、前記オプティカルフローが算出された前記時系列画像を構成する各画像から除去するノイズ除去部をさらに備える。
【００１８】
オプティカルフローが算出された時系列画像を構成する各画像において、画像に表示される移動ベクトルの中に、極端に長い移動ベクトルが存在することがある。極端に長い移動ベクトルは、誤った結果の場合がある。極端に長い移動ベクトルは、平均ベクトルに大きな影響を与える。よって、極端に長い移動ベクトルは、ノイズとして除去することが好ましい。また、画像に表示される移動ベクトルのうち、極端に短い移動ベクトルは、平均ベクトルに与える影響は小さい。移動ベクトルの視認性を向上させるために、極端に短い移動ベクトルは、ノイズとして除去することが好ましい。この構成によれば、極端に長い移動ベクトルおよび極端に短い移動ベクトルを除去することができる。
【００１９】
本発明の第２局面に係る画像処理方法は、カメラが高炉の羽口を通してレースウェイを撮影することにより得られた、前記レースウェイの時系列画像に対して、前記レースウェイ内の旋回コークスを追跡することができる画像処理をする追跡ステップを備える。
【００２０】
本発明の第２局面に係る画像処理方法は、本発明の第１局面に係る画像処理装置を方法の観点から規定しており、本発明の第１局面に係る画像処理装置と同様の作用効果を有する。
【発明の効果】
【００２１】
本発明によれば、レースウェイ内の旋回コークスの挙動調査を支援することができる。
【図面の簡単な説明】
【００２２】
【図１】高炉の一例の下部付近の断面模式図である。
【図２】レースウェイの動画に含まれる、連続する１６フレームの一例を示す模式図である。
【図３】レースウェイの画像の一例を示す模式図である。
【図４】サンプル領域（１）〜（４）のそれぞれの平均輝度値と時間との関係を示すグラフである。
【図５】旋回コークスを追跡できるフレームレートで撮影された動画に含まれる、連続する９フレーム（ｎ〜ｎ＋８番目の画像Ｉｍ１）の一例を示す模式図である。
【図６】実施形態に係る画像処理装置のブロック図である。
【図７】オプティカルフローが算出された画像の一例の模式図である。
【図８】平均ベクトルの向きを図示した領域に含まれる縦軸、横軸がそれぞれ示す角度を説明する説明図である。
【図９】実施形態に係る画像処理装置の動作を説明するフローチャートである。
【図１０】第１変形例に係る画像処理装置のブロック図である。
【図１１】レースウェイの複数の画像と平均値画像との関係を説明する説明図である。
【図１２】平均値画像、および、この画像から生成されたマスク画像の一例を示す模式図である。
【図１３】マスク画像の基になるレースウェイの複数の画像、および、マスク画像でマスクされるレースウェイの画像の関係を説明する説明図である。
【図１４】第１変形例によって、オプティカルフローが算出された画像の一例の模式図である。
【図１５】第１変形例に係る画像処理装置の動作を説明するフローチャートである。
【図１６】第２変形例に係る画像処理装置のブロック図である。
【図１７】図１４に示す画像に対して、ノイズ除去がされた画像の模式図である。
【図１８】実際に撮影されたレースウェイの動画に対して、第２変形例を用いて得られた平均ベクトルのｙ成分に関するグラフである。
【発明を実施するための形態】
【００２３】
以下、図面に基づいて本発明の実施形態を詳細に説明する。各図において、同一符号を付した構成は、同一の構成であることを示し、その構成について、既に説明している内容については、その説明を省略する。
【００２４】
図１は、高炉１００の一例の下部付近の断面模式図である。高炉１００の下部の壁面には、羽口１０１が形成されている。高炉１００の外部に配置された送風管１０２から高温空気１０３が羽口１０１を介して、高炉１００内に高速で送られている。これにより、羽口１０１から高炉１００の内部に向けて、レースウェイ１０４と称される空間が形成されている。ＰＣランス１０５から微粉炭１０６が羽口１０１を介して、レースウェイ１０４内に高速で送られている。
【００２５】
送風管１０２は２つに分岐しており、一方は高温空気１０３の発生源とつながっており、他方の開口端には羽口覗き窓１０７が取り付けられている。カメラ１０８は、羽口覗き窓１０７からレースウェイ１０４の動画Ｖ（時系列画像）を撮影する。
【００２６】
レースウェイ１０４内の矢印の波線は、旋回コークスの旋回経路の一例を示す。旋回コークスは、羽口１０１からレースウェイ１０４の下部を通り、レースウェイ１０４の奥に送られ、そして、上昇し、レースウェイ１０４の上部を通り、羽口１０１の付近で降下している。
【００２７】
図２は、レースウェイ１０４の動画Ｖに含まれる、連続する１６フレームの一例を示す模式図である。動画Ｖはカラーであり、動画Ｖの一フレームが、レースウェイ１０４の画像Ｉｍ１の一つである。動画Ｖのフレームレートは、３０ｆｐｓである。図３は、レースウェイ１０４の画像Ｉｍ１の一例を示す模式図である。画像Ｉｍ１は、コークスの燃焼領域Ｒ１、旋回コークス領域Ｒ２、微粉炭の燃焼領域Ｒ３、ＰＣランス領域Ｒ４、および、背景領域Ｒ５を含む。背景領域Ｒ５と他の領域との境界が羽口１０１の輪郭Ｒ６を示している。ＰＣランス領域Ｒ４は、高炉１００に差し込まれているＰＣ（Ｐｕｌｖｅｒｉｚｅｄ  Ｃｏａｌ）ランス１０５のうち、レースウェイ１０４内に位置する部分を示す領域である。背景領域Ｒ５は、羽口１０１とつながる送風管１０２の内周面を示す領域である。
【００２８】
旋回コークス領域Ｒ２は、旋回コークスを示す領域である。図３に示す画像Ｉｍ１には、旋回コークス領域Ｒ２が写されているが、旋回コークス領域Ｒ２が画像Ｉｍ１に写されていないこともある。これは、動画Ｖのフレームレート３０ｆｐｓでは、旋回コークスを追跡できない速度で旋回コークスが旋回しているからである。
【００２９】
コークスの燃焼領域Ｒ１は、薄いグレーで示されている。旋回コークス領域Ｒ２および微粉炭の燃焼領域Ｒ３は、濃いグレーで示されている。ＰＣランス領域Ｒ４および背景領域Ｒ５は、黒で示されている。図２、図５、図７、図１４および図１７についても同様である。
【００３０】
本発明者らは、コークスの燃焼領域Ｒ１に設定されたサンプル領域（１）、微粉炭の燃焼領域Ｒ３に設定されたサンプル領域（２）、ＰＣランス領域Ｒ４に設定されたサンプル領域（３）、背景領域Ｒ５に設定されたサンプル領域（４）について、それぞれ、平均輝度値を算出した。図４は、サンプル領域（１）〜（４）のそれぞれの平均輝度値と時間との関係を示すグラフである。縦軸は、平均輝度値を示す。横軸は、時間として、１番目〜１００番目のフレーム（レースウェイ１０４の画像Ｉｍ１）の順番を示す。
【００３１】
コークスの燃焼領域Ｒ１のサンプル領域（１）、および、微粉炭の燃焼領域Ｒ３のサンプル領域（２）は、ＰＣランス領域Ｒ４のサンプル領域（３）、および、背景領域Ｒ５のサンプル領域（４）と比べて、平均輝度値が高く、かつ、平均輝度値の時間変動量が大きいこと分かる。これは、コークスの燃焼領域Ｒ１、および、微粉炭の燃焼領域Ｒ３は、ＰＣランス領域Ｒ４、および、背景領域Ｒ５と比べて、平均輝度値が高く、かつ、平均輝度値の時間変動量が大きいことを示す。旋回コークス領域Ｒ２は示されていなが、コークスの燃焼領域Ｒ１、および、微粉炭の燃焼領域Ｒ３と同様に、旋回コークス領域Ｒ２は、ＰＣランス領域Ｒ４、および、背景領域Ｒ５と比べて、平均輝度値が高く、かつ、平均輝度値の時間変動量が大きいと考えられる。
【００３２】
図５は、旋回コークスを追跡できるフレームレートで撮影された動画Ｖに含まれる、連続する９フレーム（ｎ〜ｎ＋８番目の画像Ｉｍ１）の一例を示す模式図である。ｎ番目〜ｎ＋８番目の画像Ｉｍ１は、ＰＣランス領域Ｒ４の付近を切り出した画像なので、背景領域Ｒ５を含まない。図１に示す旋回経路の場合、動画Ｖには、上から下に移動する旋回コークスが写される。図５によれば、旋回コークス領域Ｒ２が上から下に移動していることが分かる。
【００３３】
実施形態に係る画像処理装置１は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖに対して、旋回コークスを追跡することができる画像処理する。図６は、実施形態に係る画像処理装置１のブロック図である。画像処理装置１は、制御処理部２と、ＩＦ部３と、入力部４と、出力部５と、を備える。制御処理部２は、画像処理装置１の全体を統括し、画像処理装置１の動作に必要な制御および処理をする。制御処理部２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、および、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等のハードウェア、制御処理部２の機能を実行するためのプログラムおよびデータ等によって実現される。
【００３４】
ＩＦ部３は、制御処理部２に接続され、制御処理部２の制御に従って、外部の機器との間で画像、情報等を入出力する。例えば、ＩＦ部３は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖが入力し、これらを制御処理部２へ送る。ＩＦ部３は、入出力インターフェース回路によって実現される。
【００３５】
入力部４は、制御処理部２に接続され、オペレータが、各種の情報、データ、命令等を入力するための装置である。入力部４は、マウス、キーボード、タッチパネル等により実現される。出力部５は、制御処理部２に接続され、制御処理部２の制御に従って、入力部４から入力されたコマンド、データ、および、画像処理後の動画Ｖ等を出力する装置である。出力部５は、液晶ディスプレイ、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ  ｄｉｓｐｌａｙ）等により実現される。
【００３６】
制御処理部２は、機能ブロックとして、記憶部２１と、追跡部２２と、算出部２３と、を備える。
【００３７】
記憶部２１は、カメラ１０８が撮影したレースウェイ１０４の動画Ｖ、追跡部２２によって画像処理がされた動画Ｖ等を記憶する。
【００３８】
追跡部２２は、動画Ｖに対して、レースウェイ１０４内の旋回コークスを追跡することができる画像処理をする。動画Ｖは、カメラ１０８が高炉の羽口を通してレースウェイ１０４を撮影することにより得られた、レースウェイ１０４の時系列画像の一例である。上記画像処理の具体例は、以下の通りである。実施形態では、オプティカルフローを例にして説明する。
【００３９】
（ａ）オプティカルフロー（Ｌｕｃａｓ−Ｋａｎａｄｅ法）
移動前後の明るさは不変、画像はなめらか、移動量はわずか、という仮定のもとで物体のフローを推定する方法である。
【００４０】
（ｂ）背景差分法
背景画像（モデル）を用意し、移動物体が写っている画像から差し引きすることで動体を抽出する方法である。
【００４１】
（ｃ）フレーム間差分法
連続する画像の差分から動体を検出する方法である。背景画像（モデル）を用意する必要がない利点がある。
【００４２】
（ｄ）テンプレートマッチング
追跡対象のテンプレート画像を用意し、一致度の高い物体を抽出する方法である。
【００４３】
（ｅ）ブロックマッチング
画像を適当なサブブロックに分割し、各ブロックをフレーム間でスライドさせ一致度の高い動きベクトルを抽出する方法である。
【００４４】
（ｆ）Ｐａｒｔｉｃｌｅ  Ｆｉｌｔｅｒ（確率的探索）
画像内に粒子（パーティクル）をばらまき、追跡物体との近さを尤度で評価・選別しながら追跡する方法である。
【００４５】
（ｇ）Ｍｅａｎ  Ｓｈｉｆｔ（局所探索）
対象物の現在位置付近で次時刻の位置を、色ヒストグラムの類似度から推定する方法である。
【００４６】
図７は、オプティカルフローが算出された画像Ｉｍ１の一例の模式図である。この画像Ｉｍ１は、図５に示すｎ＋４番目の画像Ｉｍ１とｎ＋５番目の画像Ｉｍ１との間のオプティカルフローを示す。図中の矢印は移動ベクトルを示す。追跡部２２は、これらの画像Ｉｍ１をそれぞれ、複数のメッシュに分割し、各メッシュについて、移動ベクトルを算出する。なお、移動ベクトルは、画素単位で算出されてもよい。
【００４７】
オペレータが入力部４を用いて、出力部５に表示されている移動ベクトルの平均的な移動方向および移動速度を算出する命令をしたとき、追跡部２２は、カメラ１０８のレンズの焦点距離およびフレームレートを基にして、出力部５に表示されている移動ベクトルの平均的な移動方向および移動速度を算出する。出力部５は、この算出結果を表示する。
【００４８】
算出部２３は、ｎ＋５番目の画像Ｉｍ１に表されている全移動ベクトルを平均した平均ベクトルｍｖを算出する。算出部２３は、平均ベクトルｍｖを基にして、平均ベクトルｍｖの向きおよび長さを可視化した平均ベクトル可視化領域Ｒ７を生成する。平均ベクトル可視化領域Ｒ７は、直交する縦軸ＡＸ１と横軸ＡＸ２、並びに、平均ベクトルｍｖの向きおよび長さを示す矢印を含む。図８は、平均ベクトル可視化領域Ｒ７に含まれる縦軸ＡＸ１、横軸ＡＸ２がそれぞれ示す角度を説明する説明図である。平均ベクトル可視化領域Ｒ７により、平均ベクトルｍｖについて、その向きおよび長さ（ノルム）が視覚的に分かる。
【００４９】
算出部２３は、平均ベクトル可視化領域Ｒ７、平均ベクトルｍｖのｘ方向成分ｄｘ、平均ベクトルｍｖのｙ方向成分ｄｙ、平均ベクトルｍｖの長さ（ノルム）ｒ、および、平均ベクトルｍｖの移動方向ｄｅｇを含む平均ベクトル情報Ｉｖを、画像Ｉｍ１の上部に付加する。このように、算出部２３は、オプティカルフローの算出結果を基にして、旋回コークスの挙動の指標となる指標値（平均ベクトル情報Ｉｖ）を算出する。平均ベクトル情報Ｉｖによれば、各フレーム（レースウェイ１０４の画像Ｉｍ１）について、全体的な移動が分かり、例えば、高炉１００の操業を監視する指標として活用することが考えられる。
【００５０】
実施形態に係る画像処理装置１の動作について説明する。図９は、この動作を説明するフローチャートである。図６および図９を参照して、制御処理部２は、カメラ１０８から送られてきているレースウェイ１０４の動画Ｖを記憶部２１に記憶させる。オペレータは、入力部４を用いて、オプティカルフローの実行命令を制御処理部２に入力する。画像処理装置１は、以降、カメラ１０８から送られてくるレースウェイ１０４の動画Ｖに対して、オプティカルフローを算出する。詳しく説明する。
【００５１】
制御処理部２は、ＩＦ部３にフレーム（レースウェイ１０４の画像Ｉｍ１）が入力したか否かを判断する（Ｓ１）。制御処理部２は、ＩＦ部３にフレームが入力していないと判断したとき（Ｓ１でＮｏ）、処理Ｓ１を繰り返す。
【００５２】
制御処理部２が、ＩＦ部３にフレームが入力したと判断したとき（Ｓ１でＹｅｓ）、追跡部２２は、このフレーム（以下、ｉ番目フレーム）とｉ−１番目フレームとを用いて、オプティカルフローを算出する（Ｓ２）。
【００５３】
算出部２３は、処理Ｓ２の結果を用いて、ｉ番目フレームに示される全移動ベクトルの平均ベクトルｍｖを算出する（Ｓ３）。そして、算出部２３は、算出した平均ベクトルｍｖを基にして、平均ベクトル可視化領域Ｒ７を生成し、平均ベクトルｍｖのｘ方向成分ｄｘ、平均ベクトルｍｖのｙ方向成分ｄｙ、平均ベクトルｍｖの長さ（ノルム）ｒ、および、平均ベクトルｍｖの移動方向ｄｅｇを算出する。制御処理部２は、これらを平均ベクトル情報Ｉｖとして、ｉ番目のフレーム（画像Ｉｍ１）に付加する（Ｓ４）。
【００５４】
制御処理部２は、処理Ｓ４がされたｉ番目のフレーム（画像Ｉｍ１）を記憶部２１に記憶させる（Ｓ５）。
【００５５】
オペレータは、入力部４を用いて、オプティカルフローの停止命令を制御処理部２に入力することができる。制御処理部２は、オプティカルフローの停止命令が入力されたか否かを判断する（Ｓ６）。制御処理部２が、オプティカルフローの停止命令が入力されたと判断したとき（Ｓ６でＹｅｓ）、画像処理装置１は、オプティカルフローを終了する。制御処理部２が、オプティカルフローの停止命令が入力されていないと判断したとき（Ｓ６でＮｏ）、処理Ｓ１に戻る。以上が実施形態に係る画像処理装置１の動作である。
【００５６】
実施形態の主な効果を説明する。実施形態では、旋回コークスを撮影できるフレームレートで撮影された動画Ｖに対して、オプティカルフローを算出する。従って、旋回コークスの挙動調査を支援することができる。
【００５７】
実施形態には、第１変形例と第２変形例がある。これらについて、実施形態と相違する点を中心に説明する。第１変形例から説明する。図３を参照して、レースウェイ１０４の画像Ｉｍ１は、高輝度領域と低輝度領域とに分けられる。高輝度領域は、コークスの燃焼領域Ｒ１、旋回コークス領域Ｒ２、および、微粉炭の燃焼領域Ｒ３のうち中心部を除く周辺部である。低輝度領域は、微粉炭の燃焼領域Ｒ３の中心部、ＰＣランス領域Ｒ４および背景領域Ｒ５である。羽口覗き窓１０７が汚れている場合、その汚れに対応する領域も低輝度領域となる。
【００５８】
旋回コークスを追跡するためには、低輝度領域はノイズとなる。そこで、第１変形例は、レースウェイ１０４の動画Ｖを構成する各フレーム（レースウェイ１０４の画像Ｉｍ１）から高輝度領域を抽出し、高輝度領域に対してオプティカルフロー処理をする。図１０は、第１変形例に係る画像処理装置１ａのブロック図である。画像処理装置１ａの制御処理部２は、記憶部２１、追跡部２２および算出部２３に加えて、第１生成部２４、第２生成部２５および抽出部２６を備える。
【００５９】
第１生成部２４は、レースウェイ１０４の動画Ｖ（レースウェイ１０４の時系列画像）に含まれる、複数のフレーム（レースウェイ１０４の複数の画像Ｉｍ１）を用いて、同じ位置の画素の平均値を示す平均値画像Ｉｍ２を生成する。平均値画像Ｉｍ２は、代表値画像の一例である。平均値の換わりに中央値、最頻値でもよい。複数のフレームは、連続する所定数のフレームでもよいし、連続するフレームの中から飛び飛びに選択された所定数のフレームでもよい。
【００６０】
図１１は、レースウェイ１０４の複数の画像Ｉｍ１（レースウェイ１０４の複数のフレーム）と平均値画像Ｉｍ２との関係を説明する説明図である。レースウェイ１０４の複数の画像Ｉｍ１の数が、Ｎ（Ｎは２以上の整数）とする。各画像Ｉｍ１を構成する画素数がＭとする（Ｍは整数）。１番目の画像Ｉｍ１−１〜Ｎ番目の画像Ｉｍ１−Ｎにおいて、１番目の画素の値の平均値が、平均値画像Ｉｍ２を構成する１番目の画素の値となり、２番目の画素の値の平均値が、平均値画像Ｉｍ２を構成する２番目の画素の値となり、・・・、Ｍ番目の画素の値の平均値が、平均値画像Ｉｍ２を構成するＭ番目の画素の値となる。
【００６１】
第２生成部２５は、平均値画像Ｉｍ２を用いて、マスク画像を生成する。図１２は、平均値画像Ｉｍ２、および、この画像から生成されたマスク画像の一例を示す模式図である。第２生成部２５は、平均値画像Ｉｍ２をグレースケールの画像に変換する。次に、第２生成部２５は、グレースケールに変換された平均値画像Ｉｍ２をしきい値で二値化することにより、低輝度領域（微粉炭の燃焼領域Ｒ３の中心部、ＰＣランス領域Ｒ４および背景領域Ｒ５）に対応するマスク領域Ｒ１１、および、高輝度領域（コークスの燃焼領域Ｒ１、旋回コークス領域Ｒ２、微粉炭の燃焼領域Ｒ３のうち中心部を除く周辺部）に対応する非マスク領域Ｒ１２を有するマスク画像を生成する。しきい値は、予め生成された平均値画像Ｉｍ２に含まれる、コークスの燃焼領域Ｒ１、旋回コークス領域Ｒ２、微粉炭の燃焼領域Ｒ３のうち中心部を除く周辺部、微粉炭の燃焼領域Ｒ３の中心部、ＰＣランス領域Ｒ４、背景領域Ｒ５のそれぞれの平均輝度値を基にして、オペレータ（ユーザ）が予め第２生成部２５に設定をする。
【００６２】
抽出部２６は、レースウェイ１０４の複数の画像Ｉｍ１の撮影後にカメラ１０８がレースウェイ１０４を撮影することにより得られたレースウェイ１０４の画像Ｉｍ１に、マスク画像をマスクして、高輝度領域を抽出する。図１３は、マスク画像の基になるレースウェイ１０４の複数の画像Ｉｍ１、および、マスク画像でマスクされるレースウェイ１０４の画像Ｉｍ１の関係を説明する説明図である。
【００６３】
時刻ｔ１〜時刻ｔ７に撮影されたレースウェイ１０４の複数の画像Ｉｍ１は、７つの連続するフレームを示している。複数の画像Ｉｍ１の数を５つとする。カメラ１０８が時刻ｔ６で撮影したレースウェイ１０４の画像Ｉｍ１が制御処理部２に送られてきたとき、第１生成部２４は、直近に撮影されたレースウェイ１０４の５つの画像Ｉｍ１、すなわち、時刻ｔ１〜時刻ｔ５に撮影されたレースウェイ１０４の５つの画像Ｉｍ１を用いて、平均値画像Ｉｍ２を生成する。第２生成部２５は、この平均値画像Ｉｍ２を用いてマスク画像を生成する。抽出部２６は、このマスク画像をマスクにして、時刻ｔ６に撮影されたレースウェイ１０４の画像Ｉｍ１から高輝度領域を抽出する。
【００６４】
次に、カメラ１０８が時刻ｔ７で撮影したレースウェイ１０４の画像Ｉｍ１が制御処理部２に送られてきたとき、第１生成部２４は、直近に撮影されたレースウェイ１０４の５つの画像Ｉｍ１、すなわち、時刻ｔ２〜時刻ｔ６に撮影されたレースウェイ１０４の５つの画像Ｉｍ１を用いて、平均値画像Ｉｍ２を生成する。第２生成部２５は、この平均値画像Ｉｍ２を用いてマスク画像を生成する。抽出部２６は、このマスク画像をマスクにして、時刻ｔ７に撮影されたレースウェイ１０４の画像Ｉｍ１から高輝度領域を抽出する。
【００６５】
このように、第１生成部２４は、平均値が選択される複数の画像Ｉｍ１の範囲を時間軸に沿って移動させて、平均値画像Ｉｍ２を生成する（移動平均）。図１を参照して、当初、送風管１０２の内周面に堆積物が形成されておらず、かつ、羽口覗き窓１０７が汚れていなくても、時間の経過に従って、送風管１０２の内周面に堆積物が形成されたり、羽口覗き窓１０７が汚れたりすることがある。実施形態によれば、マスク画像の基になる平均値画像Ｉｍ２は、移動平均を用いて生成するので、マスク領域Ｒ１１および非マスク領域Ｒ１２を時間の経過に従って変化させることができる。従って、実施形態によれば、そのような事態が生じても、高輝度領域を安定して抽出することができる。
【００６６】
以上のようにして、画像処理装置１ａは、カメラ１０８が撮影したレースウェイ１０４の動画Ｖを構成する各フレーム（レースウェイ１０４の各画像Ｉｍ１）からリアルタイムに高輝度領域を抽出し、抽出した高輝度領域のオプティカルフローを算出する。図１４は、第１変形例によって、オプティカルフローが算出された画像Ｉｍ１の一例の模式図である。この画像Ｉｍ１は、図５に示すｎ＋４番目の画像Ｉｍ１から抽出された高輝度領域とｎ＋５番目の画像Ｉｍ１から抽出された高輝度領域との間のオプティカルフローを示す。
【００６７】
算出部２３は、ｎ＋５番目の画像Ｉｍ１から抽出された高輝度領域に表されている全移動ベクトルを平均した平均ベクトルｍｖを算出する。算出部２３は、実施形態と同様にして、平均ベクトル可視化領域Ｒ７を生成し、平均ベクトル可視化領域Ｒ７、平均ベクトルｍｖのｘ方向成分ｄｘ、平均ベクトルｍｖのｙ方向成分ｄｙ、平均ベクトルｍｖの長さ（ノルム）ｒ、および、平均ベクトルｍｖの移動方向ｄｅｇを含む平均ベクトル情報Ｉｖを、画像Ｉｍ１の上部に付加する。
【００６８】
第１変形例に係る画像処理装置１ａの動作について説明する。図１５は、この動作を説明するフローチャートである。図１０および図１５を参照して、制御処理部２は、カメラ１０８から送られてきているレースウェイ１０４の動画Ｖを記憶部２１に記憶させる。オペレータは、入力部４を用いて、オプティカルフローの実行命令を制御処理部２に入力する。画像処理装置は、以降、カメラ１０８から送られてくるレースウェイ１０４の動画Ｖに対して、オプティカルフローを算出する。詳しく説明する。
【００６９】
処理Ｓ１１は、図９に示す処理Ｓ１と同じである。
【００７０】
制御処理部２が、ＩＦ部３にフレームが入力したと判断したとき（Ｓ１１でＹｅｓ）、第１生成部２４は、このフレーム（以下、ｉ番目のフレーム）より、一つ前のｉ−１番目のフレームから始まる連続するｉ−１〜ｉ−ｋ番目のフレーム（レースウェイ１０４の複数の画像Ｉｍ１）を用いて、平均値画像Ｉｍ２を生成する（Ｓ１２）。
【００７１】
第２生成部２５は、処理Ｓ１２で生成された平均値画像Ｉｍ２を用いてマスク画像を生成する（Ｓ１３）。抽出部２６は、処理Ｓ１３で生成されたマスク画像をマスクにして、ｉ番目のフレームから高輝度領域を抽出する（Ｓ１４）。この高輝度領域は、オプティカルフローの算出に用いられる二つの高輝度領域の一方となる。制御処理部２は、抽出された高輝度領域をフレームの順番と紐づけて記憶部２１に記憶させる。
【００７２】
追跡部２２は、前の順番のフレームから抽出された高輝度領域が記憶部２１に記憶されているか否かを判断する（Ｓ１５）。すなわち、追跡部２２は、オプティカルフローの算出に用いられる二つの高輝度領域の他方が記憶部２１に記憶されているか否かを判断する。処理Ｓ１４で高輝度領域が抽出されたフレームが、今回のオプティカルフローの実行命令において、高輝度領域が最初に抽出されたフレームのとき、記憶部２１には、前の順番のフレームから抽出された高輝度領域は存在しない。これ以外のとき、記憶部２１には、前の順番のフレームから抽出された高輝度領域が記憶されている。
【００７３】
追跡部２２が、前の順番のフレームから抽出された高輝度領域が記憶部２１に記憶されていないと判断したとき（Ｓ１５でＮｏ）、画像処理装置１ａは処理Ｓ１１に戻る。
【００７４】
追跡部２２が、前の順番のフレームから抽出された高輝度領域が記憶部２１に記憶されていると判断したとき（Ｓ１５でＹｅｓ）、ｉ番目フレームから抽出された高輝度領域とｉ−１番目フレームから抽出された高輝度領域とを用いて、オプティカルフローを算出する（Ｓ１６）。
【００７５】
算出部２３は、処理Ｓ１６の結果を用いて、ｉ番目フレームから抽出された高輝度領域に示される全移動ベクトルの平均ベクトルｍｖを算出する（Ｓ１７）。そして、算出部２３は、算出した平均ベクトルｍｖを基にして、平均ベクトル可視化領域Ｒ７を生成し、平均ベクトルｍｖのｘ方向成分ｄｘ、平均ベクトルｍｖのｙ方向成分ｄｙ、平均ベクトルｍｖの長さ（ノルム）ｒ、および、平均ベクトルｍｖの移動方向ｄｅｇを算出する。制御処理部２は、これらを平均ベクトル情報Ｉｖとして、ｉ番目のフレーム（画像Ｉｍ１）に付加する（Ｓ１８）。
【００７６】
制御処理部２は、処理Ｓ１８がされたｉ番目のフレーム（画像Ｉｍ１）を記憶部２１に記憶させる（Ｓ１９）。処理Ｓ１８および処理Ｓ１９において、ｉ番目のフレームはマスク画像でマスクされている。
【００７７】
制御処理部２は、オプティカルフローの停止命令が入力されたか否かを判断する（Ｓ２０）。処理Ｓ２０は、図９に示す処理Ｓ６と同じである。
【００７８】
第２変形例を説明する。第２変形例は、レースウェイ１０４の動画Ｖを構成する各フレーム（レースウェイ１０４の画像Ｉｍ１）に表示される移動ベクトルのうち、極端に長い移動ベクトルおよび極端に短い移動ベクトルは、ノイズとして除去する。
【００７９】
図７および図１４を参照して、レースウェイ１０４の画像Ｉｍ１に表示される移動ベクトルの中に、極端に長い移動ベクトルが存在することがある。極端に長い移動ベクトルは、誤った結果の場合がある。極端に長い移動ベクトルは、平均ベクトルｍｖに大きな影響を与える。よって、極端に長い移動ベクトルは、ノイズとして除去することが好ましい。また、レースウェイ１０４の画像Ｉｍ１に表示される移動ベクトルのうち、極端に短い移動ベクトルは、平均ベクトルｍｖに与える影響は小さい。移動ベクトルの視認性を向上させるために、極端に短い移動ベクトルは、ノイズとして除去することが好ましい。
【００８０】
図１６は、第２変形例に係る画像処理装置１ｂのブロック図である。画像処理装置１ｂの制御処理部２は、図１０に示す制御処理部２に備えられる記憶部２１、追跡部２２、算出部２３、第１生成部２４、第２生成部２５および抽出部２６に加えて、ノイズ除去部２７を備える。
【００８１】
ノイズ除去部２７は、移動ベクトルの長さの上限値と下限値を設定し、オプティカルフローが算出された時系列画像（動画Ｖ）を構成する各画像Ｉｍ１（フレーム）に含まれる移動ベクトルのうち、上限値より長い移動ベクトル、および、下限値より短い移動ベクトルを、オプティカルフローが算出された時系列画像（動画Ｖ）を構成する各画像Ｉｍ１（フレーム）から除去する。
【００８２】
図１７は、図１４に示す画像Ｉｍ１に対して、ノイズ除去がされた画像Ｉｍ１の模式図である。図１７に示す画像Ｉｍ１から、極端に長い移動ベクトルおよび極端に短い移動ベクトルが除去されていることが分かる。なお、ノイズの除去は、図７に示す画像Ｉｍ１に対しても適用することができる。
【００８３】
第２変形例の動作が、第１変形例の動作と相違する点は、図１５に示すフローチャートにおいて、処理Ｓ１６と処理Ｓ１７との間に、ノイズ除去部２７がノイズを除去する処理が追加されていることである。
【００８４】
図１８は、実際に撮影されたレースウェイ１０４の動画Ｖに対して、第２変形例を用いて得られた平均ベクトルｍｖのｙ成分に関するグラフである。グラフの横軸は、フレーム番号を示す。グラフの縦軸は、ｙ成分値を示す。レースウェイ１０４の動画Ｖのフレーム数は１２１１６（約３５秒間）であった。図１８では、０番目から１０００番目までのフレーム番号が示されている。
【００８５】
グラフＧ１は、０番目から１０００番目までの各フレーム（レースウェイ１０４の画像Ｉｍ１）について、ｙ成分値を示す。グラフＧ２は、移動平均で得られたｙ成分値を示す。移動平均の間隔は２０フレームである。１２１１６枚のフレームにおいて、ｙ成分値の平均は、１．０２ピクセルであった。ｙ成分値のプラスは、動画Ｖにおいて、レースウェイ１０４内を平均的に上から下へ移動している物（旋回コークス）が存在していることを示す。グラフＧ２によれば、レースウェイ１０４内を平均的に上から下へ移動している物が存在することが分かる。
【符号の説明】
【００８６】
１，１ａ，１ｂ  画像処理装置
１００  高炉
１０１  羽口
１０２  送風管
１０３  高温空気
１０４  レースウェイ
１０５  ＰＣランス
１０６  微粉炭
１０７  羽口覗き窓
１０８  カメラ
ＡＸ１  横軸
ＡＸ２  縦軸
Ｉｍ１  画像（レースウェイの画像）
Ｉｍ２  平均値画像（代表値画像）
Ｉｖ  平均ベクトル情報
ｍｖ  平均ベクトル
Ｒ１  コークスの燃焼領域
Ｒ２  旋回コークス領域
Ｒ３  微粉炭の燃焼領域
Ｒ４  ＰＣランス領域
Ｒ５  背景領域
Ｒ６  羽口の輪郭
Ｒ７  平均ベクトル可視化領域  
Ｒ１１  マスク領域
Ｒ１２  非マスク領域
【図１】
2020204053.tif 000003
【図２】
2020204053.tif 000004
【図３】
2020204053.tif 000005
【図４】
2020204053.tif 000006
【図５】
2020204053.tif 000007
【図６】
2020204053.tif 000008
【図７】
2020204053.tif 000009
【図８】
2020204053.tif 000010
【図９】
2020204053.tif 000011
【図１０】
2020204053.tif 000012
【図１１】
2020204053.tif 000013
【図１２】
2020204053.tif 000014
【図１３】
2020204053.tif 000015
【図１４】
2020204053.tif 000016
【図１５】
2020204053.tif 000017
【図１６】
2020204053.tif 000018
【図１７】
2020204053.tif 000019
【図１８】
2020204053.tif 000020