(57)【要約】      （修正有）【課題】赤外線光学式気体撮像による気体漏出の検出および監視方法を提供する。【解決手段】気体濃度・長定量方法は、気体プルームを含む第１の画像をカメラで取得することと；前記第１の画像の前記気体プルームに対応する画素を特定・区分することと；前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を有するマスク画像を作成することと；前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成することと；前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算することと；少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させることを含む。【選択図】図３
2019066465.tif 000002
【特許請求の範囲】
【請求項１】
気体濃度・長定量方法であって、
気体プルームを含む第１の画像をカメラで取得することと；
前記第１の画像の前記気体プルームに対応する画素を特定・区分することと；
前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を有するマスク画像を作成することと；
前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成することと；
前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算することと；
少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させること
を含む、気体濃度・長定量方法。
【請求項２】
前記カメラは赤外線感受性の光学式気体撮像カメラであり、前記第１の画像は赤外線画像である、請求項１に記載の方法。
【請求項３】
前記マスク画像は二値画像である、請求項１に記載の方法。
【請求項４】
前記気体プルームを含む対象領域を選択することをさらに含み、
マスク画像の作成、背景画像の作成、および前記気体濃度・長の計算からなる一連の工程のうち少なくとも１つの工程は前記対象領域内で実行される、請求項１に記載の方法。
【請求項５】
前記対象領域は実質的に均質な背景情景を含む、請求項４に記載の方法。
【請求項６】
前記第１の画像をカラー化することと；
作成された前記背景画像を各画素の前記気体濃度・長の計算の前にグレースケール画像に再変換すること
をさらに含み、
作成された前記背景画像は、カラー化された前記第１の画像を入力情報として用い、カラー化されている、請求項１に記載の方法。
【請求項７】
前記第１の画像のカラー化は、畳み込みニューラルネットワークを用いる、請求項６に記載の方法。
【請求項８】
前記画像修復方法はテレア・アルゴリズムである、請求項１に記載の方法。
【請求項９】
前記画像修復方法はナビエ・ストークス・アルゴリズムである、請求項１に記載の方法。
【請求項１０】
カメラと前記カメラに接続された処理装置とを含む気体濃度・長定量システムであって、
前記処理装置は、
前記カメラから気体プルームを含む第１の画像を読み込み；
前記第１の画像の前記気体プルームに対応する画素を特定・区分し；
前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成し；
前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成し；
前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し；かつ
少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる、システム。
【請求項１１】
前記カメラは赤外線感受性の光学式気体撮像カメラであり、前記第１の画像は赤外線画像である、請求項１０に記載のシステム。
【請求項１２】
前記マスク画像は二値画像である、請求項１０に記載のシステム。
【請求項１３】
前記気体プルームを含む対象領域を選択することをさらに含み、
マスク画像の作成、背景画像の作成、および前記気体濃度・長の計算からなる一連の工程のうち少なくとも１つの工程は前記対象領域内で実行される、請求項１０に記載のシステム。
【請求項１４】
前記対象領域は実質的に均質な背景情景を含む、請求項１３に記載のシステム。
【請求項１５】
前記第１の画像をカラー化することと；
作成された前記背景画像を各画素の前記気体濃度・長の計算の前にグレースケール画像に再変換すること
をさらに含み、
作成された前記背景画像はカラー化された前記第１の画像を入力情報として用い、カラー化されている、請求項１０に記載のシステム。
【請求項１６】
前記第１の画像のカラー化は畳み込みニューラルネットワークを用いる、請求項１５に記載のシステム。
【請求項１７】
前記画像修復方法はテレア・アルゴリズムである、請求項１０に記載のシステム。
【請求項１８】
前記画像修復方法はナビエ・ストークス・アルゴリズムである、請求項１０に記載のシステム。
【請求項１９】
非一時的コンピューター可読媒体（ＣＲＭ）であって、前記非一時的コンピューター可読媒体で具現化されるコンピューター可読プログラムコードを記憶し、
前記コンピューター可読プログラムコードは、気体プルームを含む第１の画像を読み込み；
前記第１の画像の前記気体プルームに対応する画素を特定・区分し；
前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成し；
前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成し；
前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し；かつ
少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる、
媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
近年、赤外線（ＩＲ）光学式気体撮像（optical gas imaging : OGI）カメラは、従来の気体検出法（触媒を用いた検出器など）に比べて気体漏出の可視化に優れ、検査時間が短く、安全性が高いことから、気体漏出の検出および監視に広く用いられる道具である。
【０００２】
IR OGIカメラには、実用的な定性用途に加えて定量用途も提案されている。たとえば、適切な較正によって、撮像されたプルームまたは塊（plume、以下プルームと称する）の気体濃度・長（濃度を経路長に沿って積分したもので、単位はたとえば百万分率・メートル、すなわちｐｐｍ・ｍである）を定量できる。気体濃度・長を気体濃度・経路長（concentration path length : CPL）ともいう。
【０００３】
IR OGIは、米国環境保護庁（Environmental Protection Agency : EPA）が認識している米国の石油・ガス産業の２種類の気体漏出検出・修復（ＬＤＡＲ）調査方法の１つであり、もう１つはＥＰＡ２１による方法である。
【発明の概要】
【課題を解決するための手段】
【０００４】
本概要は、後述の詳細な説明にさらに記載される概念の選択について紹介するために記載されており、本発明の重要または必須特徴事項を特定したり、本発明の範囲の限定を補助するものとして用いられたりすることを意図するものではない。
【０００５】
本発明の１つ以上の態様では、気体濃度・長定量方法は、気体プルームを含む第１の画像をカメラで取得することと；前記第１の画像の前記気体プルームに対応する画素を特定・区分することと；前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を有するマスク画像と；前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成することと；前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算することと；少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させることとを含んでもよい。
【０００６】
本発明の１つ以上の態様では、気体濃度・長定量システムは、カメラと前記カメラに接続された処理装置を含んでもよく、前記処理装置は、前記カメラから気体プルームを含む第１の画像を読み込み；前記第１の画像の前記気体プルームに対応する画素を特定・区分し；前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成し；前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成し；前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し；少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる。
【０００７】
本発明の１つ以上の態様では、非一時的コンピューター可読媒体（ＣＲＭ）は、前記非一時的コンピューター可読媒体で具現化されるコンピューター可読プログラムコードを含んでもよく、前記コンピューター可読プログラムコードは、気体プルームを含む第１の画像を読み込み；前記第１の画像の前記気体プルームに対応する画素を特定・区分し；前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成し；前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成し；前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し；かつ少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる。
【０００８】
その他の側面および利点については、以下の説明および添付の特許請求の範囲から明らかである。
【図面の簡単な説明】
【０００９】
添付の図面を参照し本発明の態様について説明する。ただし、添付の図面は本発明の１つ以上の態様の特定の側面または実装例のみを例として図示し、特許請求の範囲を限定するものではない。
【００１０】
【図１Ａ】図１Ａは、本発明の１つ以上の態様による気体濃度・長定量システムを示す。
【図１Ｂ】図１Ｂは、本発明の１つ以上の態様による気体濃度・長定量システムを示す。
【図１Ｃ】図１Ｃは、本発明の１つ以上の態様による気体濃度・長定量システムを示す。
【図２】図２は、本発明の１つ以上の態様による気体検出および定量の放射伝達モデル機構を示す概略図である。
【図３】図３は、本発明の１つ以上の態様による気体濃度・長定量方法の流れ図である。
【図４Ａ】図４Ａは、本発明の１つ以上の態様による気体濃度・長法の例を示す。
【図４Ｂ】図４Ｂは、本発明の１つ以上の態様による気体濃度・長法の例を示す。
【図４Ｃ】図４Ｃは、本発明の１つ以上の態様による気体濃度・長法の例を示す。
【図４Ｄ】図４Ｄは、本発明の１つ以上の態様による気体濃度・長法の例を示す。
【図５】図５は、本発明の１つ以上の態様による計算例を示す。
【発明を実施するための形態】
【００１１】
以下、添付の図面を参照し本発明の具体的な態様について詳述する。各図で同様の構成要素は、一貫性のため同様の参照番号で示されている。
【００１２】
以下の発明を実施するための形態では、本発明をより完全に理解できるよう、多数の特定の細部について説明するが、これらの特定の細部がなくても本発明を実施できることは当業者には明らかである。他の例では、説明を不必要に複雑にしないよう、周知の特徴事項については詳細に説明しない。
【００１３】
以下の説明および特許請求の範囲で、「含む（ｉｎｃｌｕｄｉｎｇ、ｃｏｍｐｒｉｓｉｎｇ）」という用語は非限定的に用いられ、したがって、「含むが、それらに限定されるものではない」という意味だと解釈されるべきである。また、「接続する（ｃｏｕｐｌｅ、ｃｏｕｐｌｅｓ）」という用語は間接接続も直接接続も意味するものとする。また、「接続」と記載した場合はすべて、間接接続も直接接続も意味する可能性がある。したがって、第１の要素が第２の要素に接続されている場合、その接続は直接接続によるものであってもよいし、他の要素、機器、および接続部を介する間接接続によるものであってもよい。電子機器は有線接続されていてもよいし、無線接続されていてもよい。電子機器は、たとえばローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネットなどのネットワークを介して接続されていてもよい。さらに、「軸方向の」および「軸方向に」という用語は一般に中心軸または長手軸に沿っているか平行であることを意味し、「半径方向の」および「半径方向に」という用語は一般に中心の長手軸に垂直であることを意味する。
【００１４】
本願全体で、序数（たとえば、第１、第２、第３など）はある構成要素（すなわち本願中の任意の名詞）に対する形容詞として用いられてもよい。序数の使用は構成要素の特定の順序を示唆または付与するものでもなく、「先（ｂｅｆｏｒｅ）」、「後（ａｆｔｅｒ）」、「１つの（ｓｉｎｇｌｅ）」、および他のそのような用語の使用などによって明示的に開示されない限り、いかなる構成要素についても１個のみの構成要素だと限定するものでもない。むしろ、序数の使用は構成要素を区別するものである。一例として、第１の構成要素は第２の構成要素とは異なり、第１の構成要素は２個以上の構成要素を包含してもよく、構成要素の順序において第２の要素よりも後（または先）であってもよい。
【００１５】
一般に、本発明の態様は、カメラが取得した少なくとも１つの画像フレームを用いて気体濃度・長を定量するための方法、システム、および非一時的コンピューター可読媒体を提供する。１つ以上の態様では、カメラは赤外線感受性の光学式気体撮像カメラである。
【００１６】
図１Ａは、本発明の１つ以上の態様による気体濃度・長定量システムを示す。光学式気体撮像（ＯＧＩ）カメラ３０は１つ以上のコンピュータープロセッサー１０２に接続されていてもよい。ＯＧＩカメラ３０とコンピュータープロセッサー１０２は有線接続されていてもよいし無線接続されていてもよい。１つ以上のプロセッサーはコンピューターシステム１００に含まれていてもよい。
【００１７】
本発明の態様は、使用されるプラットフォームに拘わらず、事実上あらゆる種類のコンピューターシステム１００を用いて実装されてもよい。たとえば、ユーザーコンピューター装置は、本発明の１つ以上の態様を実行するための、１つ以上のモバイル装置（たとえばラップトップコンピューター、スマートフォン、パーソナル・デジタル・アシスタント、タブレットコンピューター、または他のモバイル装置）、デスクトップコンピューター、サーバー、サーバーシャーシ内のブレード、あるいは少なくとも最低限の処理能力とメモリーと入出力装置とを含む任意の他の種類のコンピューター装置であってもよい。たとえば、図１Ａに示すように、コンピューターシステム１００は、１つ以上のプロセッサー１０２と、関連メモリー１０４（たとえばランダム・アクセス・メモリー（ＲＡＭ）、キャッシュメモリー、フラッシュメモリーなど）と、１つ以上の記憶装置１０６（たとえばハードディスク、光学式ドライブ（コンパクトディスク（ＣＤ）ドライブまたはデジタル多用途ディスク（ＤＶＤ）ドライブなど）、フラッシュメモリースティックなど）、および他の多数の構成要素および機能を含んでいてもよい。プロセッサー１０２は命令を処理するための集積回路であってもよい。たとえば、プロセッサー１０２は、プロセッサーの１つ以上のコアまたはマイクロコアであってもよい。
【００１８】
コンピューターシステム１００はまた、タッチ画面、キーボード、マウス、マイクロフォン、タッチパッド、電子ペン、または任意の他の種類の入力装置などの１つ以上の入力装置１１０を含んでいてもよい。また、コンピューターシステム１００は、画面（たとえば液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、タッチ画面、陰極線（ＣＲＴ）モニター、プロジェクター、または他の表示装置）、プリンター、外付け記憶装置、または任意の他の出力装置などの１つ以上の出力装置１０８を含んでいてもよい。出力装置１０８のうち１つ以上は入力装置と同一であっても異なっていてもよい。出力装置１０８は、気体濃度・長が閾値を超えた場合に警報として用いることのできるライト（たとえば点滅する赤色光）、警音器、ブザーなどを含んでいてもよい。出力装置は、ファクシミリ（ファックス）、電子メール、ショート・メッセージ・サービス（ＳＭＳ）テキストなどを作成かつ／または受信してもよい。
【００１９】
図１Ｂは、１つ以上の態様に従い、コンピューターシステム１００がネットワークインタフェース接続（図示せず）を介してネットワーク１１２（たとえば、ローカル・エリア・ネットワーク（ＬＡＮ）、インターネットなどのワイド・エリア・ネットワーク（ＷＡＮ）、モバイルネットワーク、または任意の他の種類のネットワーク）に接続されていてもよいことを示している。入力装置および出力装置はローカル接続されていてもよいし、（たとえば、プロセッサー１０２、メモリー１０４、および記憶装置１０６に接続されたネットワーク１１２を介して）リモート接続されていてもよい。ＯＧＩカメラ３０はネットワーク１１２によって１つ以上のコンピュータープロセッサー１０２に接続されていてもよい。多くの様々な種類のコンピューターシステムが存在しており、上記の入出力装置は他の形態をとってもよい。
【００２０】
本発明の態様を実行するためのコンピューター可読プログラムコードの形態のソフトウェア命令の全体または一部は、一時的または永久的に、ＣＤ、ＤＶＤ、記憶装置、フロッピーディスク、テープ、フラッシュメモリー、物理メモリー、または任意の他のコンピューター可読記憶媒体などの非一時的コンピューター可読媒体に記憶されていてもよい。具体的には、ソフトウェア命令は、プロセッサー１０２によって実行されると本発明の１つ以上の態様を実行するコンピューター可読プログラムコードに対応していてもよい。また、ソフトウェア命令を実行するプロセッサーによって実行される、記載されたすべての工程は、１つ以上の態様では回路などのハードウェアの形態であってもよい。当業者であれば、ハードウェアが特定用途向け集積回路または他の適切な回路で構成されていてもよいことはよく理解できる。
【００２１】
上記コンピューターシステム１００の１つ以上の構成要素は、遠隔地に配置されネットワーク１１２で他の構成要素と接続されていてもよい。さらに、本発明の１つ以上の態様は、複数のノードを有する分散型システムで実施されてもよく、ここで本発明の各部分はこの分散型システム内の異なるノードに配置されていてもよい。本発明の１つ以上の態様では、ノードは個別のコンピューター装置に対応する。あるいは、ノードは関連する物理メモリーを有するプロセッサーに対応していてもよい。あるいは、ノードは、メモリーおよび／またはリソースを共有するプロセッサーまたはプロセッサーのマイクロコアに対応していてもよい。
【００２２】
図１Ｃは、検出器３２に接続されたＯＧＩカメラ３０を示す。検出器は、煙検出器、熱検出器、一酸化炭素検出器など、居住環境または産業環境でよく使用される種類のものであってよい。接続は有線であってもよいし無線であってもよく、ネットワークによる接続を挙げることができる。１つ以上の態様では、ＯＧＩカメラ３０は検出器３２に組み込まれていてもよい。１つ以上の態様では、ＯＧＩカメラ３０は集積回路に組み込まれていてもよい。
【００２３】
１つ以上の態様では、ＯＧＩカメラ３０を用いて特に商業環境、産業環境、海洋環境、居住環境、または農村環境で気体濃度・長定量のための画像を撮像してもよい。
【００２４】
図２は、ＯＧＩによる気体漏出の撮像と気体濃度・長（濃度を厚みまたは長さで積分したもので、単位はたとえば百万分率・メートル、すなわちｐｐｍ・ｍである、）定量の物理的原理（放射伝達モデルとして知られる）の概略図を示す。ＯＧＩカメラは、対象気体の吸収帯に対応するバンドパスフィルターを備えていてもよい。対象気体は、たとえば、特にメタン、六フッ化硫黄、一酸化炭素、二酸化炭素であってもよい。これらの対象気体の１つ以上をたとえば石油・ガス産業の環境で検出してもよい。しかし、本発明の１つ以上の態様は、たとえば居住環境などのその他の環境に適用されてもよい。
【００２５】
背景１０からの放射輝度４０、Ｉｂ（λ）（λは放射波長を示す）は、気体プルーム２０を通過する。ここで、背景放射輝度４０の強さは、気体吸収によって弱まるかもしれない。気体プルーム２０による吸収は、透過率係数τｇ（λ）によって特徴づけられてもよく、したがってＯＧＩカメラ３０に到達する透過した放射輝度５０は、Ｉｂ（λ）τｇ（λ）になる。透過率係数τｇ（λ）は、ランバート・ベールの法則によって気体濃度・長γに関連する：τｇ（λ）＝ｅｘｐ（−γα（λ））（吸光度スペクトルα（λ）は、各気体種に固有のものであり既知である）。
【００２６】
一方、赤外線を吸収する気体プルーム２０は、熱エネルギー６０も放射する。これは、気体の温度（Ｔｇ）における黒体放射（プランク関数）Ｂ（Ｔｇ，λ）と気体の放射率（１−τｇ）との積によって特徴づけられる。したがって、１つ以上の態様では、ＯＧＩカメラ３０は、気体プルーム２０による吸収によって調節された背景放射輝度Ｉｂ（λ）を記録してもよい。
【００２７】
【数１】
2019066465.tif 000003
【００２８】
気体プルーム２０と背景１０の間の相対的な温度差に応じて、気体プルーム２０を記録画像内の背景１０に対して明暗のコントラストとして可視化してもよい。
【００２９】
方程式（１）でＩｂ（λ）およびＢ（Ｔｇ，λ）がわかっていると仮定すると、簡略化された放射伝達方程式（１）によって透過率係数τｇ（λ）の定量、ひいては気体プルーム２０の濃度・長の定量の物理的原理も得ることができる。Ｂ（Ｔｇ，λ）は気体プルーム２０の温度を測定しプランク関数を用いて計算することにより容易に求められる。したがって、背景放射輝度Ｉｂ（λ）を求めることは光学式気体撮像（ＯＧＩ）における気体濃度・長定量にとって重要な課題である。以下は本発明の１つ以上の態様で採用される、考えられる３つの背景放射輝度推定方法である。
【００３０】
第１の背景放射輝度推定方法は、気体がその情景に存在しないときに背景の別個の撮像測定値を取得することであってもよい（たとえば、米国特許出願公開第２０１４／０００８５２６号明細書を参照のこと）。しかし、この方法は、管理された実験室環境に限定され、背景放射輝度が時間と共に変化して気体の漏出を管理できない応用分野には適用できないかもしれない。
【００３１】
第２の背景放射輝度推定方法は、対象気体からの反応を引き起こさない分光フィルタリングによって取得された第２のＩＲ画像によるものであってもよい（たとえば、米国特許出願公開第２０１４／０００８５２６号明細書を参照のこと）。しかし、この方法には、異なるバンドパスフィルターを有する第２のＯＧＩカメラや高価なマルチスペクトルまたはハイパースペクトルＯＧＩカメラが必要である。
【００３２】
第３の背景放射輝度推定方法は、時系列で並べられた画素データの時間的解析によるものであってもよい。この解析では、一連のビデオ画像の所定の画素について、気体の攪乱によって引き起こされた時間的変動幅によって背景放射輝度４０を概算する（たとえば、国際公開第２０１７／１０４６０７号（Ａ１）を参照のこと）。しかし、この方法には一連のビデオ画像が必要である。その結果、この方法は環境条件の影響を受けやすく、多くの画像を処理する必要がある。また、この処理は、自動化や気体プルーム２０の全画素への拡大適用が困難となる可能性がある。
【００３３】
本発明の１つ以上の態様では、光学式気体画像における背景放射輝度推定方法は、「画像修復」のコンピュータービジョン技術と、それに基づく気体濃度・長定量処理を利用してもよい。この方法では、背景画像は自動的に作成されてもよい。この方法には、気体プルームを可視化・区分できる１つのＩＲ画像のみが入力情報として必要である。
【００３４】
したがって、この方法は、高価なマルチスペクトルまたはハイパースペクトルＯＧＩカメラおよび／あるいは計算時間のかかる時系列データ解析の必要性を排除するという利点を有する可能性がある。１つ以上の態様による別の利点は、この方法は、単に画像処理のみに基づいてよいため環境条件の影響を受けにくい点である。さらに、この方法では気体濃度・長定量のために時系列画像を処理する必要はない。この方法の１つ以上の態様による別の利点は、この方法は単一バンドのＯＧＩ気体漏出撮像用途で気体濃度・長定量のための背景放射輝度推定方法となる点である。
【００３５】
図３は、１つ以上の態様による画像修復法を用いた背景放射輝度推定値に基づく気体濃度・長定量の方法を説明する流れ図である。画像修復は、画像補間または映像補間としても知られているかもしれない。
【００３６】
工程３１０で気体プルームを含む画像が取得されてもよい。１つ以上の態様では、この画像はＯＧＩカメラによって取得された赤外線画像であってもよい。説明を明確にし、この画像を他の画像と区別するため、以下この画像を赤外線（ＩＲ）画像と呼ぶ。ただし、この用語は画像を赤外線に限定することを意図するものではない。他の放射波長の画像が包含されてもよいことは容易にわかる。１つのＩＲ画像が取得されてもよいし、一連のＩＲ画像が取得されてもよいし、一連のビデオ画像フレームも同様である。ＩＲ画像の画素の輝度をＯＧＩカメラの既知の較正データを用いて較正し、その情景の温度と放射輝度値のいずれかを示してもよい。
【００３７】
１つ以上の態様では、その後の処理のために気体プルーム（すなわち気体漏出源）を含む対象領域（region of interest ; ROI）を手動で選択してもよい。ＲＯＩ内でのみ解析を行うことにより計算速度を改善することができる。
【００３８】
１つ以上の態様では、背景情景が実質的に均質である領域（たとえば図４Ａの長方形の箱）を含むようにＲＯＩを選択してもよい。背景情景が実質的に均質なＲＯＩを選択することにより背景放射輝度の計算の精度を改善することができる。
【００３９】
工程３２０で、本方法はＩＲ画像内の気体プルームに対応する画素を特定・区分する。以下、これらの画素を「気体画素」と呼ぶことがある。
【００４０】
気体画素の特定は、閾値化や領域拡張、分割するための階層クラスター化、Ｍｕｍｆｏｒｄ−Ｓｈａｈの変分公式におけるエネルギー最小化など、一般的な画像区分方法で行われてもよい。
【００４１】
あるいは、１つ以上の態様では、たとえば国際公開第２０１７／１０４６０７号（Ａ１）に記載のように、気体画素を一連の映像フレームの時系列解析によって特定してもよい。この特定方法は、背景に対する気体プルームのコントラストが弱いＩＲ画像ではより有効となる可能性がある。
【００４２】
工程３３０で、工程２２０の気体画素の区分に基づき、ＩＲ画像に対応するマスク画像が作成されてもよい。マスク画像では、気体プルームに対応する画素のみが０以外の値を有する。１つ以上の態様では、マスク画像は二値画像である。図４Ａの気体画素に基づいて作成されるマスク画像の一例を図４Ｂに示す。長方形の箱は図４Ａと同定義のＲＯＩを示す。
【００４３】
工程３４０で、本方法は、ＩＲ画像および作成されたマスク画像を入力情報とし、画像修復アルゴリズムを用いて背景データ（温度または放射輝度）を示す新しい画像を計算してもよい。背景データを背景画像と呼ぶこともある。図４Ｃは背景画像の一例を示す。この背景画像は、図４ＡのＩＲ画像および図４Ｂのマスク画像を入力情報とし、画像修復アルゴリズムを用いて作成される。長方形の箱は、図４Ａおよび図４Ｂと同定義のＲＯＩを示す。１つ以上の態様では、画像修復アルゴリズムはテレア・アルゴリズムであってもよい。テレア・アルゴリズムについては“An image inpainting technique based on the fast marching method（高速進行法に基づく画像修復技術）”（Alexandru Telea著、Journal of Graphics Tools第９巻２５〜３６頁（２００４年）にて公開）で見ることができる。１つ以上の態様では、画像修復アルゴリズムはナビエ・ストークス・アルゴリズムであってもよい。ナビエ・ストークス・アルゴリズムについては“Navier-Stokes, fluid dynamics, and imaging and video inpainting（ナビエ・ストークス、流体動力学、画像および映像の修復）”（Marcelo Bertalmioら著、IEEE CVPR（Computer Vision and Pattern Recognition）会報（２００１年）にて公開）で見ることができる。
【００４４】
工程３５０で、本方法はＩＲ画像、作成された背景画像、および気体プルームの温度のデータを用いて各画素での気体濃度・長を計算してもよい。１つ以上の態様では、気体温度を温度計で測定してもよいし、周囲の大気の温度と同じと想定してもよい。
【００４５】
気体濃度・長の計算は、上記のように放射伝達モデルに基づいてもよく、国際公開第２０１７／１０４６０７号（Ａ１）に開示されている方法を用いてもよい。結果の例を図４Ｄに示す。図では各気体画素での気体濃度・長の計算値をグレースケールの色で表している。図４Ｄの計算された画像は図４ＡのＩＲ画像および図４Ｃの計算された背景画像データに基づく。長方形の箱は、図４Ａ〜４Ｃと同定義のＲＯＩを示す。
【００４６】
１つ以上の態様では、図３の流れ図を参照して記載された方法は、映像ストリームによって作成された場合などのように複数の画像を処理するために工程２１０〜２５０を複数回繰り返してもよい。
【００４７】
工程３６０で、本方法は少なくとも１つの画素の気体濃度・長が閾値を超える場合に警報を作動させてもよい。警報は多くの形態をとってもよく、複数の形態を含んでよい。警報の形態の１つとして、ユーザーコンソール上の色付きライト（たとえば赤色光）が挙げられる。ライトは点灯かつ／または点滅してもよい。警報はたとえばベル、サイレン、警音器など、可聴式のものでもよい。警報は電子メール、ファクシミリ（ファックス）、ショート・メッセージ・システム（ＳＭＳ）テキストメッセージ、電話通信などであってもよい。警報は、コンピューターディスプレイ、モバイル装置、携帯電話などでの表示であってもよい。警報は１つ以上の場所および／または１人以上のユーザーに提供されてもよい。警報は有線および／または無線のシステムまたはネットワークで転送されてもよい。警報は、ユーザーおよび／または警報に応じて１つ以上の機能を自動的に実行する別の装置へ向けられてもよい。
【００４８】
図５は、９６０個の一連のビデオ画像フレームの所定の気体画素について画像修復法を用いて推定された背景温度を示し、この方法が背景温度の全体的な時間的変動を再現することが証明されている。プランク方程式を用いて背景温度から背景放射輝度を計算してもよい。細かい破線で描かれ「Ｔｏｎ（気体領域）」と表示された曲線は、気体が存在する場合のビデオ画像フレーム番号の関数として、所定の気体画素でＯＧＩによって記録された温度変化を表示する。粗い破線で描かれ「修復によるＴｏｆｆ（気体）」と表示された曲線は、画像修復法を用いた所定の気体画素の推定背景温度である。「修復によるＴｏｆｆ＿平滑化（気体）」と表示された実線は「修復によるＴｏｆｆ（気体）」を平滑化したものである。比較のため、非気体画素（すなわち気体が存在しない画素）でＯＧＩによって記録された温度変化を「Ｔｏｎ（非気体領域）」と表示された一点鎖線の曲線で表す。
【００４９】
１つ以上の態様では、ＩＲ画像を最初にカラー化することにより、画像修復法による背景放射輝度推定の精度をさらに改善してもよい。１つ以上の態様では、たとえばｉ）“Learning representations for automatic colorization（自動カラー化のための表現を学ぶ）”（Gustav Larssonら著、Springer International Publishing発行、European Conference on Computer Vision（２０１６年））、ｉｉ）“Colorful image colorization（多色画像のカラー化）”（Richard Zhangら著、Springer International Publishing発行、European Conference on Computer Vision（２０１６年）、およびｉｉｉ）“Let there be color!: joint end-to-end learning of global and local image priors for automatic image colorization with simultaneous classification（ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け）”（飯塚里志ら著、ACM Transactions on Graphics(TOG) 35.4（２０１６年）の１１０頁にて公開）に記載のように、ＩＲ画像のカラー化に畳み込みニューラルネットワークを用いてもよい。カラー化されたＩＲ画像とマスク画像を入力情報とし画像修復法を用いて背景画像を作成してもよい。次いで背景画像を後の気体濃度・長計算のためにグレースケールに再変換してもよい。
【００５０】
本発明の１つ以上の態様では、気体濃度・長定量システムは、プロセッサーに接続されたＯＧＩカメラを含んでいてもよい。プロセッサーは、上記の様々な気体濃度・長法のうちの１つ以上の変形を実行して気体濃度・長、背景放射輝度推定値、および／または背景温度推定値を提供してもよい。
【００５１】
１つ以上の態様では、プロセッサーは、コンピューター装置に組み込まれていてもよい。コンピューター装置は、モバイルコンピューター装置（たとえばスマートフォン、タブレットコンピューター、ラップトップコンピューター、電子書籍端末など）、デスクトップパーソナルコンピューター（ＰＣ）、キオスク端末、サーバー、メインフレーム、セットトップボックスなどであってもよい。各コンピューター装置は、ユーザーによって操作されてもよく、１つ以上のグラフィカル・ユーザー・インターフェース（ＧＵＩ）を用いて、気体濃度・長、背景放射輝度推定値、および／または背景温度推定値を計算し、かつ／または情報をユーザーに表示するようユーザーからの要求を作成してもよい。ユーザーの要求は、計算されたデータの出力場所（たとえば表示装置、格納場所、プリンターなど）を指定してもよい。１つ以上の態様では、コンピューター装置の様々な要素を組み合わせて一つの要素を作成してもよい。同様に、１つの要素によって実行される機能を２つ以上の要素によって実行してもよい。
【００５２】
１つ以上の態様では、コンピューター装置は互いに接続された複数のコンピューター装置を含んでいてもよい。
【００５３】
１つ以上の態様では、ＯＧＩカメラはコンピューター装置に組み込まれていてもよい。
【００５４】
赤外線（ＩＲ）光学式気体撮像（ＯＧＩ）カメラが取得した１つ以上の画像フレームは、処理および保存のためにユーザーコンピューター装置のうちの少なくとも１つに転送されてもよい。
【００５５】
本発明の態様を実行するためのコンピューター可読プログラムコードの形態のソフトウェア命令の全体または一部は、一時的または永久的に、ＣＤ、ＤＶＤ、記憶装置、フロッピーディスク、テープ、フラッシュメモリー、物理メモリー、または任意の他のコンピューター可読記憶媒体などの非一時的コンピューター可読媒体に記憶されていてもよい。具体的には、ソフトウェア命令は、プロセッサーによって実行されると本発明の１つ以上の態様を実行するコンピューター可読プログラムコードに対応していてもよい。また、ソフトウェア命令を実行するプロセッサーによって実行される、記載されたすべての工程は、１つ以上の態様では回路などのハードウェアの形態であってもよい。当業者であれば、ハードウェアが特定用途向け集積回路または他の適切な回路で構成されていてもよいことを理解している。
【００５６】
さらに、上記コンピューター装置の１つ以上の構成要素は、遠隔地に配置されネットワークで他の構成要素と接続されていてもよい。さらに、本発明の１つ以上の態様は、複数のノードを有する分散型システムで実施されてもよく、ここで本発明の各部分はこの分散型システム内の異なるノードに配置されていてもよい。本発明の１つ以上の態様では、ノードは個別のコンピューター装置に対応する。あるいは、ノードは関連する物理メモリーを有するプロセッサーに対応していてもよい。あるいは、ノードは、メモリーおよび／またはリソースを共有するプロセッサーまたはプロセッサーのマイクロコアに対応していてもよい。
【００５７】
スペクトルのうち赤外線部分に関して本発明の１つ以上の態様を説明したが、当業者であれば、本発明に開示された方法を他の波長の放射にも適用してもよいことを容易に認識できる。
【００５８】
限られた数の態様に関して本発明を説明したが、本開示の利益を受ける当業者は、本明細書に開示された発明の範囲から逸脱することなく他の態様を考案できることをよく理解できる。したがって、本発明の範囲は添付の特許請求の範囲によってのみ限定されるべきである。
【図１Ａ】
2019066465.tif 000004
【図１Ｂ】
2019066465.tif 000005
【図１Ｃ】
2019066465.tif 000006
【図２】
2019066465.tif 000007
【図３】
2019066465.tif 000008
【図４Ａ】
2019066465.tif 000009
【図４Ｂ】
2019066465.tif 000010
【図４Ｃ】
2019066465.tif 000011
【図４Ｄ】
2019066465.tif 000012
【図５】
2019066465.tif 000013
【手続補正書】
【提出日】平成30年11月30日(2018.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
気体濃度・長定量方法であって、
気体プルームを含む第１の画像をカメラで取得することと；
前記第１の画像の前記気体プルームに対応する画素を特定・区分することと；
前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を有するマスク画像を作成することと；
前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成することと；
前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算することと；
少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させること
を含む、気体濃度・長定量方法。
【請求項２】
前記カメラは赤外線感受性の光学式気体撮像カメラであり、前記第１の画像は赤外線画像である、請求項１に記載の方法。
【請求項３】
前記マスク画像は二値画像である、請求項１又は２に記載の方法。
【請求項４】
前記気体プルームを含む対象領域を選択することをさらに含み、
マスク画像の作成、背景画像の作成、および前記気体濃度・長の計算からなる一連の工程のうち少なくとも１つの工程は前記対象領域内で実行される、請求項１から３のいずれか一項に記載の方法。
【請求項５】
前記対象領域は実質的に均質な背景情景を含む、請求項４に記載の方法。
【請求項６】
前記第１の画像をカラー化することと；
作成された前記背景画像を各画素の前記気体濃度・長の計算の前にグレースケール画像に再変換すること
をさらに含み、
作成された前記背景画像は、カラー化された前記第１の画像を入力情報として用い、カラー化されている、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記第１の画像のカラー化は、畳み込みニューラルネットワークを用いる、請求項６に記載の方法。
【請求項８】
前記画像修復アルゴリズムはテレア・アルゴリズムである、請求項１から７のいずれか一項に記載の方法。
【請求項９】
前記画像修復アルゴリズムはナビエ・ストークス・アルゴリズムである、請求項１から７のいずれか一項に記載の方法。
【請求項１０】
カメラと前記カメラに接続された処理装置とを含む気体濃度・長定量システムであって、
前記処理装置は、
前記カメラから気体プルームを含む第１の画像を読み込み；
前記第１の画像の前記気体プルームに対応する画素を特定・区分し；
前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成し；
前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成し；
前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算し；かつ
少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる、システム。
【請求項１１】
前記カメラは赤外線感受性の光学式気体撮像カメラであり、前記第１の画像は赤外線画像である、請求項１０に記載のシステム。
【請求項１２】
前記マスク画像は二値画像である、請求項１０又は１１に記載のシステム。
【請求項１３】
前記気体プルームを含む対象領域を選択することをさらに含み、
マスク画像の作成、背景画像の作成、および前記気体濃度・長の計算からなる一連の工程のうち少なくとも１つの工程は前記対象領域内で実行される、請求項１０から１２のいずれか一項に記載のシステム。
【請求項１４】
前記対象領域は実質的に均質な背景情景を含む、請求項１３に記載のシステム。
【請求項１５】
前記第１の画像をカラー化することと；
作成された前記背景画像を各画素の前記気体濃度・長の計算の前にグレースケール画像に再変換すること
をさらに含み、
作成された前記背景画像はカラー化された前記第１の画像を入力情報として用い、カラー化されている、請求項１０から１４のいずれか一項に記載のシステム。
【請求項１６】
前記第１の画像のカラー化は畳み込みニューラルネットワークを用いる、請求項１５に記載のシステム。
【請求項１７】
前記画像修復アルゴリズムはテレア・アルゴリズムである、請求項１０から１６のいずれか一項に記載のシステム。
【請求項１８】
前記画像修復アルゴリズムはナビエ・ストークス・アルゴリズムである、請求項１０から１６のいずれか一項に記載のシステム。
【請求項１９】
処理装置に設けられたコンピューターを、
気体プルームを含む第１の画像を読み込む手段；
前記第１の画像の前記気体プルームに対応する画素を特定・区分する手段；
前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成する手段；
前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成する手段；
前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算する手段；
少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる手段、
として機能させるプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の１つ以上の態様では、気体濃度・長定量方法は、気体プルームを含む第１の画像をカメラで取得することと；前記第１の画像の前記気体プルームに対応する画素を特定・区分することと；前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を有するマスク画像を作成することと；前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成することと；前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算することと；少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させることとを含んでもよい。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明の１つ以上の態様では、プログラムは、処理装置に設けられたコンピューターを、気体プルームを含む第１の画像を読み込む手段；前記第１の画像の前記気体プルームに対応する画素を特定・区分する手段；前記第１の画像に対応し、前記第１の画像の前記気体プルームに対応する画素のみが０以外の値を持つマスク画像を作成する手段；前記第１の画像と前記マスク画像を入力情報とし、画像修復アルゴリズムを用いて前記第１の画像に対応する背景画像を作成する手段；前記第１の画像と前記背景画像のデータに基づき前記第１の画像の前記気体プルームに対応する各画素の気体濃度・長を計算する手段；少なくとも１つの画素の前記気体濃度・長が閾値を超えた場合に警報を作動させる手段、として機能させる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
工程３３０で、工程３２０の気体画素の区分に基づき、ＩＲ画像に対応するマスク画像が作成されてもよい。マスク画像では、気体プルームに対応する画素のみが０以外の値を有する。１つ以上の態様では、マスク画像は二値画像である。図４Ａの気体画素に基づいて作成されるマスク画像の一例を図４Ｂに示す。長方形の箱は図４Ａと同定義のＲＯＩを示す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４６
【補正方法】変更
【補正の内容】
【００４６】
１つ以上の態様では、図３の流れ図を参照して記載された方法は、映像ストリームによって作成された場合などのように複数の画像を処理するために工程３１０〜３５０を複数回繰り返してもよい。
【外国語明細書】
2019066465000001.pdf
2019066465000002.pdf
2019066465000003.pdf
2019066465000004.pdf