(57)【要約】  外表面に露出していない検査対象の状態を診断するために、検査対象の外観画像を用いて、検査対象の状態を診断する。診断装置は、検査対象の状態を診断する診断装置であって、検査対象を外部から測定して得られた診断用センサデータが入力され、診断用センサデータから、予め定められた少なくとも１つの特徴を抽出する特徴抽出部と、特徴抽出部から入力された特徴に基づいて、診断用センサデータの診断用スコアを算出するスコア算出部と、スコア算出部から入力された診断用スコアに基づいて、検査対象の状態を診断して診断結果を出力する診断部と、を備える。特徴抽出部は、特徴を有するセンサデータを含む学習用センサデータを用いた機械学習により得られた学習済モデルを有し、入力された診断用センサデータに対する学習済モデルの推論結果を、診断用センサデータの特徴として抽出する。
2020085327.tif 000002
【特許請求の範囲】
【請求項１】
検査対象の状態を診断する診断装置であって、
前記検査対象を外部から測定して得られた診断用センサデータが入力され、前記診断用センサデータから、予め定められた少なくとも１つの特徴を抽出する特徴抽出部と、
前記特徴抽出部から入力された前記特徴に基づいて、前記診断用センサデータが有する前記特徴に関連付けられた診断用部分スコアを算出し、前記診断用部分スコアに基づいて前記診断用センサデータの診断用スコアを算出するスコア算出部と、
前記スコア算出部から入力された前記診断用スコアに基づいて、前記検査対象の状態を診断して診断結果を出力する診断部と、
前記診断結果と前記診断用部分スコアとを表示する表示部と、
を備える診断装置。
【請求項２】
前記スコア算出部は、前記特徴に関連付けられた特徴別スコアに基づいて、前記診断用部分スコアを算出し、前記診断用スコアとしてトータルスコアを算出し、
前記診断部は、前記トータルスコアに基づいて、前記検査対象の状態を診断する
請求項１に記載の診断装置。
【請求項３】
前記表示部は、少なくとも一つの前記診断用部分スコアと該診断用部分スコアに対応する前記特徴の名称とをそれぞれ関連付けて表示する診断用部分スコア表示領域を有する請求項２に記載の診断装置。
【請求項４】
前記スコア算出部は、前記診断用センサデータについて、複数の前記診断用部分スコアを算出し、
前記表示部は、前記診断用部分スコア表示領域において、複数の前記診断用部分スコアと、前記診断用部分スコアに対応する前記特徴の名称とをグラフとして表示する請求項３に記載の診断装置。
【請求項５】
前記表示部は、前記診断用部分スコア表示領域において、複数の前記診断用部分スコアと複数の前記特徴の名称とをそれぞれ関連付けて、レーダーチャートとして表示する請求項４に記載の診断装置。
【請求項６】
前記表示部は、一つの前記診断用センサデータに関する前記診断結果および前記診断用部分スコアを表示する単一対象評価結果表示領域を有する請求項２から５のいずれか１項に記載の診断装置。
【請求項７】
前記表示部は、複数の前記診断用センサデータに関する前記診断結果および前記診断用部分スコアを、前記診断用センサデータごとに並べて表示する複数対象評価結果表示領域を有する請求項６に記載の診断装置。
【請求項８】
前記表示部は、前記複数対象評価結果表示領域において、前記トータルスコアおよび前記診断用部分スコアを、棒グラフ、散布図、又は折れ線グラフのいずれかで表示する請求項７に記載の診断装置。
【請求項９】
前記特徴を有するセンサデータを含む学習用センサデータに基づく機械学習により、前記特徴抽出部に入力された前記診断用センサデータが有する前記特徴を出力する学習済モデルを生成する特徴学習部をさらに有する請求項１から８のいずれか１項に記載の診断装置。
【請求項１０】
前記特徴抽出部は、前記特徴抽出部に入力された前記診断用センサデータに基づく前記
学習済モデルの推論結果を前記特徴として出力する特徴推論部を有する請求項９に記載の診断装置。
【請求項１１】
前記特徴抽出部は、前記診断用センサデータおよび前記学習用センサデータの解析を行うデータ解析部を有する請求項１０に記載の診断装置。
【請求項１２】
前記データ解析部は、前記解析の結果を、前記特徴推論部に特徴量として出力し、又は前記スコア算出部に前記特徴として出力する請求項１１に記載の診断装置。
【請求項１３】
前記特徴推論部は、前記データ解析部から入力された前記特徴量に対する前記学習済モデルの推論結果を、前記診断用センサデータの前記特徴として抽出する請求項１２に記載の診断装置。
【請求項１４】
前記診断用センサデータおよび前記学習用センサデータは、画像データである診断用画像データおよび学習用画像データである請求項１１から１３のいずれか１項に記載の診断装置。
【請求項１５】
前記データ解析部は、前記画像データに対応する画像における色、線、および形状、ならびにこれらの組合せに基づいて解析を行う請求項１４に記載の診断装置。
【請求項１６】
入力された前記診断用画像データに対応する画像に対して前記特徴抽出部で抽出した前記特徴を示すマークを合成して解析後画像を作成する画像合成部を備え、
前記表示部は、前記診断用画像データに対応する画像および前記画像合成部から入力された前記解析後画像を表示する診断画像表示領域を有する請求項１４又は１５のいずれか１項に記載の診断装置。
【請求項１７】
前記診断部は、前記診断部における診断基準を決定するための閾値を設定する診断基準設定部を有する請求項１から１６のいずれか１項に記載の診断装置。
【請求項１８】
前記診断基準設定部は、前記特徴を有するセンサデータと、前記センサデータに対応する前記検査対象を測定して得られた状態の指標となるデータとを含む設定用センサデータに基づいて設定された前記閾値を設定する
請求項１７に記載の診断装置。
【請求項１９】
前記検査対象は、保護材で被覆された配管であり、
前記状態の指標となるデータは、前記配管の厚みに関するデータである、
る請求項１から１８のいずれか１項に記載の診断装置。
【請求項２０】
検査対象の状態を診断する診断方法であって、
前記検査対象を外部から測定して診断用センサデータを得る工程と、
前記診断用センサデータから、予め定められた少なくとも１つの特徴を抽出する工程と、
抽出された前記特徴に基づいて、前記診断用センサデータが有する前記特徴に関連づけられた診断用部分スコアを算出する工程と、
前記診断用部分スコアに基づいて、前記診断用センサデータの診断用スコアを算出する工程と、
前記診断用スコアに基づいて、前記検査対象の状態を診断した診断結果を得る工程と、
前記診断用スコアと前記診断結果とを表示部に表示する工程と、
を備える診断方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、診断装置及び診断方法に関する。
【背景技術】
【０００２】
従来、例えば腐食等の劣化が生じる鋼材の劣化度を評価する方法として、鋼材の外観を撮影し、撮影した画像に表示される鋼材の表面の色相や彩度に基づいて、鋼材の劣化度を評価する方法が知られている（例えば、特許文献１に記載の劣化診断方法）。このような評価方法では、表示部等に評価結果を色別に表示することができるため、ユーザは一見して劣化を認識することができる。【０００３】
しかしながら、上述の評価方法は、評価対象の外表面の劣化を診断して表示する方法であり、鋼材の表面が保護材で覆われている場合等、撮影した画像に劣化が生じる部分が写らない場合には、上述の評価方法を用いることができない。また、鋼材の劣化度を評価するために保護材を除去して上述の評価を行うことは、鋼材がプラント内の配管や送電設備等の大規模な設備である場合には現実的ではない。このため、鋼材の表面が保護材で覆われていても、保護材を除去することなく（すなわち保護材の外観から）、配管の状態を診断する手法が望まれている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−２２３８１５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
そこで、保護材に覆われた配管の劣化状態を保護材を除去することなく判断するために、保護材の外観等の画像データを画像処理することにより配管の劣化の推論を行うことが考えられる。しかしながら、保護材に覆われた配管の外観画像は、配管が直接表示されていない画像であるため、当該画像に基づく配管の劣化状態の診断結果は、劣化状態の推論結果となる。このため、保護材に覆われた配管の劣化状態の診断結果のみを提示した場合、ユーザには当該診断結果に至った根拠が分からず、診断結果に対するユーザの納得感が低くなってしまうという課題があった。【０００６】
本開示は、このような問題に鑑みてなされたもので、その目的とするところは、診断対象の診断結果を、ユーザの納得感が得られるように提示することができる診断装置及び診断方法を得ることにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本開示の一態様に係る診断装置は、検査対象の状態を診断する診断装置であって、検査対象を外部から測定して得られた診断用センサデータが入力され、診断用センサデータから、予め定められた少なくとも１つの特徴を抽出する特徴抽出部と、特徴抽出部から入力された特徴に基づいて、診断用センサデータが有する特徴に関連付けられた診断用部分スコアを算出し、診断用部分スコアに基づいて診断用センサデータの診断用スコアを算出するスコア算出部と、スコア算出部から入力された診断用スコアに基づいて、検査対象の状態を診断して診断結果を出力する診断部と、前記診断結果と前記診断用部分スコアとを表示する表示部と、を備えることを特徴とする。【０００８】
また、本開示の他の態様に係る診断方法は、検査対象の状態を診断する診断方法であって、検査対象を外部から測定して診断用センサデータを得る工程と、診断用センサデータから、予め定められた少なくとも１つの特徴を抽出する工程と、抽出された特徴に基づいて、診断用センサデータが有する特徴に関連づけられた診断用部分スコアを算出する工程と、診断用部分スコアに基づいて、診断用センサデータの診断用スコアを算出する工程と、診断用スコアに基づいて、検査対象の状態を診断した診断結果を得る工程と、診断用スコアと診断結果とを表示部に表示する工程と、を備えることを特徴とする。
【発明の効果】
【０００９】
本開示の一態様によれば、煩雑な作業を行うことなく検査対象の状態を診断し、かつ検査対象の状態をユーザに開示することが可能な診断装置及び診断方法を得ることができる。
【図面の簡単な説明】
【００１０】
【図１】本開示の第一実施形態に係る診断装置の一構成例を示すブロック図である。
【図２】本開示の第一実施形態に係る診断装置の表示部の一構成例を示す該酌図である。
【図３】本開示の第一実施形態に係る診断装置の診断時の動作を示すフローチャートである。
【図４】本開示の第一実施形態に係る診断装置の診断部における診断用スコアの算出方法を示す概略図である。
【図５】本開示の第一実施形態に係る診断装置の学習時の一構成例を示すブロック図である。
【図６】本開示の第一実施形態に係る診断装置の学習時の動作を示すフローチャートである。
【図７】本開示の第一実施形態に係る診断装置の特徴学習部の機能を説明する概略図である。
【図８】本開示の第一実施形態に係る診断装置の設定時の一構成例を示すブロック図である。
【図９】本開示の第一実施形態に係る診断装置の設定時の動作を示すフローチャートである。
【図１０】本開示の第二実施形態に係る診断装置の一構成例を示すブロック図である。
【図１１】本開示の第二実施形態に係る診断装置の表示部の一構成例を示す概略図である。
【図１２】本開示の第一、第二実施形態に係る診断装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１２】
１．第一実施形態
以下、本実施形態に係る診断装置について、図１から図９を参照して説明する。本実施形態に係る診断装置は、入力されたセンサデータから特徴を抽出し、抽出した特徴に基づいてセンサデータについての推論結果を出力する機能を有する。本実施形態に係る診断装置は、一例として、検査対象を外部から撮影して得られた外観画像の画像データに基づいて、検査対象の状態等を診断する診断装置であり、特に外表面に露出していない検査対象の内部状態等を診断する診断装置である。本実施形態に係る診断装置１００は、具体的には、配管の表面に保護材が巻かれることにより配管が外表面に露出していない場合であっても、内部の配管の状態の診断を行うことができる診断装置である。
なお、本実施形態に係る診断装置は画像データ以外に加速度、角速度、音波、磁気、気圧又は圧力などのデータを用いてもよい。
【００１３】
［診断装置の構造］
図１に示すように、診断装置１００は、カメラ２００で撮影された、保護材で被覆された配管（以下、保護材付き配管という）とその周辺の外観画像の画像データに基づいて推論した配管の状態を推論結果として表示部１０に表示する機能を有する。以下、保護材付き配管とその周辺の外観画像を「診断用画像」といい、その画像データを「診断用画像データ」という。診断装置１００は、診断用画像データから抽出した保護材表面や配管を載置する架台表面の劣化状態を診断し、配管の劣化状態の推論結果として、配管の腐食レベル又は配管の検査要否もしくは検査必要度を表示部１０に表示する。
【００１４】
また、診断装置１００は、カメラ２００で撮影された保護材付き配管の劣化に関連する保護材付き配管の外観又はその周辺部に生じた変質部分の画像の画像データを用いて、劣化部分を機械学習する機能を有する。以下、保護材付き配管の外観又はその周辺部に生じた変質部分の画像を学習用画像といい、その画像データを学習用画像データという。
さらに、診断装置１００は、配管状態の判断基準を設定する機能を有する。診断基準は、カメラ２００で撮影された、劣化の程度が予め明らかになっている保護材付き配管及びその周辺の外観画像の画像データと、外観画像で撮影した配管の劣化の程度（例えば配管の厚み減少量）とを用いて設定される。以下、劣化の程度が予め明らかになっている保護材付き配管とその周辺の外観画像を設定用画像といい、その画像データを設定用画像データという。
以下、カメラ２００及び診断装置１００について説明する。
【００１５】
（カメラ）
カメラ２００は、公知の撮像装置であり、検査対象である保護材付配管及びその周辺を撮影することで、画像データ（学習用画像データ、設定用画像データ又は診断用画像データ）を生成する。カメラ２００は、カメラ２００及び診断装置１００に着脱可能な外部メモリ、カメラ２００が接続された有線ネットワーク又は無線ネットワーク等を介して、画像データを診断装置１００に出力する。なお、画像は、静止画または動画のいずれであってもよく、動画の場合には静止画を切り出すことにより検査対象内部の状態の診断が行われる。
【００１６】
（学習用画像データ）
カメラ２００で撮影される学習用画像データは、配管の劣化によって保護材の表面又はその周辺部に生じたと推定される変質部分の画像の画像データである。保護材付き配管は、プラント内において架台上に配置されている場合が多い。このため、保護材付き配管の劣化に関連する変質は、例えば保護材の表面や、保護材付き配管の下に配置された架台の表面に現れる。学習用画像データは、保護材付き配管や架台に現れた、配管劣化の判断に有効な要素を含む変質部分を撮影して生成される。有効な要素としては、例えば、保護材表面や架台の塗装の色（変色）、保護材の剥がれ、保護材表面の変形、架台に付着した錆等が挙げられる。
【００１７】
カメラ２００で撮影される設定用画像データは、劣化の程度が予め明らかになっている保護材付き配管及びその周辺の外観画像の画像データである。設定用画像データは、例えば以前撮影された保護材付き配管及びその周辺の外観を含む画像データである。設定用画像データは、設定用画像データに対応する配管を実際に測定することにより、予め配管の厚みに関するデータ（例えば配管の厚み減少量）等の内部状態の指標となるデータが明らかになっている。
【００１８】
カメラ２００で撮影される診断用画像データ２０２は、保護材付き配管の外観のみでなく、保護材付き配管の周辺の架台等を含む領域を撮影した画像のデータである。検査対象内部の配管の劣化によって外観に変化が生じ得る領域を撮影して診断用画像データ２０２
を生成することで、検査対象内部の状態をより適切に診断することができる。
【００１９】
（診断装置）
診断装置１００は、特徴抽出部２０と、スコア算出部３０と、診断部４０と、画像合成部５０と、表示部１０とを備えている。以下、診断装置１００の各部について説明する。
【００２０】
（特徴抽出部）
特徴抽出部２０は、データ解析部２２、特徴推論部２４及び特徴学習部２６を有している。
特徴抽出部２０は、学習用画像データ、設定用画像データ及び診断用画像データ２０２が入力され、これら画像データから、予め定められた少なくとも１つの特徴を抽出する。
【００２１】
データ解析部２２は、学習用画像データ、設定用画像データ及び診断用画像データ２０２の解析を行う。データ解析部２２は、これら画像データからスコア算出に用いる要素を算出して出力する。データ解析部２２は、解析の結果を、特徴推論部２４に特徴量として出力する。また、データ解析部２２は、解析の結果を、スコア算出部３０に特徴として出力する。これにより、特徴抽出部２０では、画像データに基づいて、配管の劣化に関連して保護材付き配管の外観又はその周辺の架台等に生じる変質に関する情報を特徴として抽出することができる。
【００２２】
特徴推論部２４は、特徴学習部２６において予め学習用画像データを用いた機械学習により得られた学習済モデル２４２を有している。特徴抽出部２０は、入力された画像データや、画像データの特徴に対する学習済モデルの推論結果を、診断用画像データの特徴として抽出する。
【００２３】
（データ解析部）
データ解析部２２は、入力された画像データ（学習用画像データ、設定用画像データ及び診断用画像データ）を解析する。データ解析部２２は、画像データに対応する画像（学習用画像、設定用画像及び診断用画像）における色、線、および形状、ならびにこれらの組合せに基づいて、画像に現れる変質の指標を特徴として算出する。
保護材表面や架台の塗装の色（変色）、保護材の剥がれ、保護材表面の変形等の変質部分を示す指標としては、例えば画像に写る保護材表面や架台の塗装の変色の面積、保護材の剥がれの大きさ、保護材表面の変形の個数や面積等が挙げられる。
【００２４】
データ解析部２２において、入力された画像データから特徴量として当該画像データの特徴点を抽出してもよい。特徴点を抽出するアルゴリズムの一つとして、例えばＯＲＢ（Oriented FAST and Rotated BRIEF）、ＳＩＦＴ(Scale-invariant feature transform)、ＳＵＲＦ(Speed-Upped Robust Feature)、Harrisコーナ、ＫＡＺＥ等を用いる。このようなアルゴリズムは、特徴点抽出プログラムとして特徴抽出部２０内の図示しない記憶部に記憶されており、特徴量等の抽出処理時には、例えば図示しないＲＡＭ（Random Access Memory）に展開される。
データ解析部２２は、特徴点の抽出処理を行う際に、例えば入力された画像データを所定サイズに拡大、縮小するサイズ変更処理や、入力された画像データのノイズを軽減するための平滑化処理等の前処理を行っても良い。
【００２５】
データ解析部２２は、画像データの解析結果を、特徴推論部２４又はスコア算出部３０に出力する。データ解析部２２は、例えば、画像データからエッジ検出を行い、エッジに囲まれた領域として検出された保護材表面の変質部分の有無（例えば、塗装の劣化や変色・錆の有無）やその領域の面積等を特徴としてスコア算出部３０に出力する。また、データ解析部２２は、画像解析によって抽出した１又は複数の特徴量に基づいて推論される特徴（例えば、保護材の表面の変形や剥がれの有無等）を得るために、画像解析の結果を特徴量として特徴推論部２４にも出力する。
また、データ解析部２２は、抽出した特徴を、画像合成部５０に出力する。
【００２６】
（特徴推論部）
特徴推論部２４は、データ解析部２２から入力された特徴量に対する推論結果を、診断用画像データ２０２の特徴として抽出する学習済モデル２４２を有している。また、学習済モデル２４２への入力として、データ解析部２２の解析結果の代わりに、診断用画像データ２０２を入力してもよい。特徴推論部２４は、学習済モデル２４２の推論結果を特徴としてスコア算出部３０に出力する。特徴推論部２４は、抽出した特徴を、画像合成部５０にも出力する。
【００２７】
（特徴学習部）
特徴学習部２６は、学習済モデル２４２を生成する。特徴学習部２６は、入力された学習用画像データ、初期モデル及び学習用パラメータに基づいて、機械学習により学習済モデル２４２を生成する。機械学習の手法については後述する。
【００２８】
（スコア算出部）
スコア算出部３０は、特徴抽出部２０から入力された特徴に基づいて、診断用画像データの診断用スコアを算出する。「診断用スコア」とは、ある診断用画像データに基づいて算出された配管の状態を示すスコアである。「診断用スコア」は、保護材表面の表面凹凸や変色等の特徴毎に診断基準を示したスコア（診断用部分スコア）に基づいて算出された、診断用画像データの総合的な診断基準を示したスコア（トータルスコア）である。トータルスコアは、各診断用部分スコアを重み付けして加算することにより得られる。
【００２９】
なお、スコア算出部３０は、特徴抽出部２０から入力された特徴に加えて、配管の周囲環境に関連するデータ、配管内容物に関連するデータ等に基づいて診断用スコアを算出してもよい。配管の周囲環境に関するデータとしては、診断対象となる配管が設置されている場所、当該場所の天候、気温、気圧、湿度等を用いることができる。配管内容物に関連するデータとしては、内容物の種類、温度、圧力、流速等を用いることができる。
【００３０】
診断用部分スコアは、特徴抽出部２０から入力された特徴と、各特徴に対して予め設定された特徴別スコア（係数）に基づいて算出される。また、スコア算出部３０は、複数の診断用画像データのそれぞれについて、複数の診断用部分スコアを算出してもよい。
【００３１】
なお、「診断用部分スコア」及び「診断用スコア」は、特徴を入力した場合の学習済モデル（不図示）の推論結果から得てもよい。当該学習済モデルの学習用データとしては、上述の特徴と、配管の劣化の有無又は劣化の程度を示すデータとを含むデータが用いられる。
また、特徴を入力した場合の学習済モデルの推論結果として、「診断用スコア」の代わりに配管の劣化の程度を直接得ても良い。診断用スコアについては、後に詳細に説明する。
【００３２】
トータルスコアは、例えば、配管の状態を診断するための診断基準として用いられる。この場合、診断用部分スコアは、トータルスコアの算出のために用いられるとともに、診断の根拠として、検査員等のユーザに示されるスコアとなる。
スコア算出部３０は、診断用部分スコア及びトータルスコアを表示部１０及び診断部４０に出力する。
【００３３】
（診断部）
診断部４０は、スコア算出部３０から入力された診断用スコアに基づいて、保護材付き配管の内部状態を診断して診断結果を出力する。診断部４０は、例えば、上述したトータルスコアに基づいて保護材付き配管の内部状態を診断する。診断部４０は、予め決定されたトータルスコアと、少なくとも一つの閾値とを比較することにより、各診断用画像データの診断ランクを決定する。診断部４０は、決定された診断ランクを表示部１０に出力する。
【００３４】
また、診断部４０は、診断部４０おける診断基準を決定するための閾値を設定する診断基準設定部４２を有する。診断基準設定部４２は、設定用画像データと、設定用画像データに対応する保護材付き配管の内部を測定して得られた内部状態の指標となるデータ（例えば配管の厚み減少量）とを表示部に表示する。閾値設定者であるユーザは、表示されたデータに基づいて、診断基準設定部４２に対して閾値設定指示を入力する。診断基準設定部４２は、上記閾値を設定するにあたって、ユーザによって、配管の内部状態の指標となるデータ（配管の厚み減少量）に対して設定される、配管の検査要否を分ける基準値を設定するように構成されていてもよい。上述の基準値には、さらに上側マージン及び下側マージンを設定することができる。
【００３５】
（画像合成部）
画像合成部５０は、入力された診断用画像データに対応する画像に対して、特徴抽出部２０又は特徴推論部２４で抽出した特徴を示すマークを合成して解析後画像を作成する。特徴を示すマークとは、例えば、配管や架台のエッジを示す線、保護材表面の変形や変色部分を示す円やマーク（図２参照）をいい、特徴毎に異なる色で示されていても良い。画像合成部５０で合成された解析後画像データは、表示部１０に出力される。
【００３６】
（表示部）
表示部１０は、診断部４０から出力された診断結果等を表示する。
図１に示すように、表示部１０は、診断部４０での診断結果を示す診断結果表示領域１１０を有している。また、表示部１０は、診断の根拠として診断用部分スコア等を表示する診断用部分スコア表示領域１２０と、画像合成部５０で合成された解析後画像１３４及び解析前の診断用画像１３２を表示する診断画像表示領域１３０とを有している。
【００３７】
図２に、表示部１０の具体例を示す。図２に示すように、表示部１０の診断結果表示領域１１０には、診断用画像データに基づいて算出されたトータルスコアと、トータルスコアに基づいて決定された診断結果（ランク）が表示される。図１１では、トータルスコア「×××」に対応するランク「Ｒ−１」が示されている。診断装置１００では、例えばランク「Ｒ−１」から「Ｒ−４」まで設定されている。「Ｒ−１」は、最も配管の状態が良い（配管の腐食可能性が低い）と推定されたランクであり、「Ｒ−４」は、最も配管の状態が悪い（配管の腐食可能性が高い）と推定されたランクである。例えば、「Ｒ−１」「Ｒ−２」は要経過観察を示すランクであり、「Ｒ−３」「Ｒ−４」は配管の劣化を実際に測定する定量検査（例えば、配管の厚み減少量を測定する超音波検査）が必須であることを示すランクとすることができる。
【００３８】
なお、診断結果は、予め定められたランクに代えて、「要定量検査」又は「要経過観察」を示してもよい。また、ユーザは、「要経過観察」と診断された診断用画像データの配管の一部に対して、定量検査や目視検査等の抜き取り検査を行っても良い。診断装置１００で示す診断結果は、単に検査の要否をユーザに示すものではなく、劣化の可能性が高い配管を示す指標である。
【００３９】
診断用部分スコア表示領域１２０には、診断用部分スコアとその診断用部分スコアに対応する特徴の名称とがそれぞれ関連付けて表示される。診断用部分スコア表示領域１２０に表示される診断用部分スコアと特徴の名称は、１つであっても良く複数であっても良い。診断用部分スコア表示領域１２０において、複数の診断用部分スコア及び診断用部分スコアに対応する特徴の名称を表示する場合には、例えばレーダーチャート、棒グラフ、折れ線グラフ及び散布図等のグラフとして表示されていても良い。図２では、診断用部分スコア表示領域において、複数の診断用部分スコアと複数の特徴の名称とをそれぞれ関連付けて、レーダーチャートとして表示した場合を例示している。これにより、各特徴の診断用部分スコアを視認しやすくすることができる。
表示部１０に、トータルスコアやランクとともに複数の診断用部分スコアと特徴の名称とが表示されることにより、診断装置１００は、ユーザに対して診断の根拠を示すことができる。
【００４０】
診断画像表示領域１３０には、画像合成部５０から入力された解析後画像１３４が表示される。また、診断画像表示領域１３０に、解析後画像１３４とともに診断用画像１３２を表示しても良い。なお、診断用画像１３２は、例えば診断用画像データ２０２に対応する診断用画像である。
診断画像表示領域１３０に解析後画像１３４が表示されることにより、診断装置１００は、診断用画像１３２中のどの部分にどのような特徴があると判断したかをユーザに示すことができる。また、診断画像表示領域１３０に解析後画像１３４とともに診断用画像１３２が表示されることにより、診断装置１００は、特徴抽出部２０によって特徴が抽出された保護材付き配管の状態をユーザに示すことができる。
【００４１】
ここで、図２の診断画像表示領域１３０には、特徴Ｆ１〜Ｆ４が現れた配管Ｐ及び架台Ｓを含む診断用画像１３２が示されている。診断画像表示領域１３０には、診断用画像１３２の解析後画像１３４が示されている。解析後画像１３４には、診断用画像１３２に対して、例えば配管Ｐのエッジを示す線Ｌ１、Ｌ２と、架台Ｓのエッジを示す線Ｌ３が合成されている。また、解析後画像１３４には、診断用画像１３２に対して、例えば画像解析により解析された特徴Ｆ１，Ｆ２の外形を示す線Ｏ１、Ｏ２と、学習済モデル２４２の推論結果として得た特徴を示すマークＭ３，Ｍ４とが合成されている。これにより、ユーザは、画像解析により得た特徴及び学習済モデル２４２の推論結果として得た特徴を一見して視認することができる。
【００４２】
［診断装置の各部の動作］
以下、診断装置１００の各部の動作について説明する。
なお、以下では、診断用画像データ２０２を用いた配管状態診断時の動作、学習用画像データを用いた特徴の学習時の動作、及び設定用画像データを用いた診断基準を決定するための閾値設定時の動作についてそれぞれ説明する。
【００４３】
（診断時の動作）
最初に、図１、図３及び図４を参照して、診断用画像データ２０２を用いた配管状態診断時の動作について説明する。図３は、診断用画像データ２０２を用いた配管状態診断時の動作を説明するフローチャートであり、図４は、診断用部分スコア及びトータルスコアの算出方法の一例を示す模式図である。
【００４４】
まず、診断の開始時に、診断に先立って特徴学習部２６で生成された学習済モデル２６２を、特徴推論部２４にコピーして、学習済モデル２４２を生成する。なお、学習済モデル２６２を学習済モデル２４２として使用してもよい。
続いて、診断装置１００の特徴抽出部２０に、保護材付き配管の外観及びその周辺の架台等を含む領域を撮影した診断用画像データ２０２を入力する（ステップＳ１１）。
次に、特徴抽出部２０のデータ解析部２２において、入力された診断用画像データ２０２に対する画像解析を行う（ステップＳ１２）。データ解析部２２は、画像解析の結果を、特徴推論部２４及びスコア算出部３０の少なくとも一方と、画像合成部５０とに出力する。
【００４５】
ステップＳ１２では、データ解析部２２は、得られた解析結果が保護材表面の変色部分の面積や表面変形の個数等である場合には、当該解析結果を特徴としてスコア算出部３０に出力する。
また、ステップＳ１２では、データ解析部２２は、得られた解析結果を特徴量として特徴推論部２４に出力する。特徴推論部２４において学習済モデル２４２の推論結果を得るために必要である場合には、特徴量とともに、保護材表面の変色部分の面積や表面変形の個数等のような解析結果を特徴推論部２４に入力しても良い。
【００４６】
次に、特徴抽出部２０の特徴推論部２４において、入力した特徴量に対する学習済モデル２４２の推論結果として特徴を得る（ステップＳ１３）。特徴推論部２４は、特徴量が入力されると、その特徴量をもつ診断用画像データ２０２が持つ特徴を推論した推論結果（特徴）を、スコア算出部３０に出力する。
【００４７】
続いて、スコア算出部３０において、データ解析部２２及び特徴推論部２４のそれぞれから入力された特徴に基づいて、診断用スコアを算出する（ステップＳ１４）。ステップＳ１４では、まず、入力された特徴に基づいて複数の特徴毎の診断用部分スコアを算出し、各診断用部分スコアを加算して診断用画像データのトータルスコアを算出する。
【００４８】
図４に一例を示すように、診断用部分スコアは、特徴（図４中に示す特徴Ａ〜特徴Ｈ）毎に予め定められた特徴別スコアｘａ〜ｘｈと、対応する特徴の量（ｙａ〜ｙｈ）とを乗算することにより得られる。特徴別スコアは、保護材付き配管の診断用画像に対して人間が配管の劣化を判断した場合の診断結果と同様の傾向となるように特徴毎に設定されたスコアである。また、「特徴の量」とは、診断用画像データ２０２中に存在する特徴の定量的指標であり、例えば面積や個数を示す。例えば、特徴が錆である場合には錆面積等を示す。
【００４９】
図４において、特徴１〜特徴８についての診断用部分スコアＡは、ｘａ・ｙａで示される。また、診断用部分スコアＢ〜診断用部分スコアＨも同様に、それぞれｘｂ・ｙｂ、ｘｃ・ｙｃ、・・・ｘｈ・ｙｈで示される。また、トータルスコアは、診断用部分スコアＡ〜診断用部分スコアＨを加算又は重み付けして加算することにより得られる。トータルスコアは、診断用部分スコアＡ〜診断用部分スコアＨを加算後に係数を乗算して、所定の桁数のスコアとなるように調整されたスコアであっても良い。トータルスコアは、診断用画像データの診断に用いられるスコアとして、診断部４０に出力される。
【００５０】
続いて、診断部４０において、入力されたトータルスコアと、予め設定された閾値とを比較して、保護材付き配管の内部状態を診断した診断結果を出力する（ステップＳ１５）。診断部４０では、診断結果として、診断用画像データに対する診断ランクが出力される。
【００５１】
最後に、表示部１０において、診断部４０から入力された診断結果が表示される（ステップＳ１６）。ステップＳ１６では、表示部１０の診断結果表示領域１１０において、診断結果として診断用画像データに対する診断ランクと診断用画像データのトータルスコアが表示される。また、表示部１０の診断用部分スコア表示領域１２０において、各診断用部分スコアとその診断用部分スコアに対応する特徴の名称とがそれぞれ関連付けて表示される。診断画像表示領域１３０には、画像合成部５０から入力された解析後画像１３４が表示される。診断画像表示領域１３０には、解析前の診断用画像１３２が表示されてもよい。
【００５２】
（学習時の動作）
次に、図５及び図６を参照して、学習用画像データ２０４を用いた特徴の学習時の動作を説明する。学習時には、学習用画像データ２０４を用いた機械学習により得られた学習済モデル２４２を生成する。図５及び図６は、学習用画像データ２０４を用いた特徴の学習時の動作を説明するブロック図及びフローチャートである。図５に示すように、学習用画像データ２０４を用いた特徴の学習時には、診断装置１００の特徴抽出部２０を用いて学習済モデル２４２が生成される。
【００５３】
まず、診断装置１００の特徴抽出部２０に、保護材付き配管の外観又はその周辺の架台等に生じた変質部分を撮影した複数の学習用画像データ２０４を入力する（ステップＳ２１）。学習用画像データ２０４は、診断用画像データ２０２の診断時に着目する観点となる特徴が変質として生じている部分を撮影した画像データであり、複数の特徴のそれぞれにおいて複数の学習用画像データ２０４が入力されることが好ましい。
【００５４】
次に、特徴抽出部２０のデータ解析部２２において、入力された学習用画像データ２０４に対してＯＲＢアルゴリズム等を用いた画像解析を行い、学習用画像データ２０４の特徴量を抽出する（ステップＳ２２）。データ解析部２２は、画像解析により抽出された特徴量（例えば、輝度変化の大きさと向き）を、特徴学習部２６に出力する。
【００５５】
続いて、特徴学習部２６において、データ解析部２２から入力された特徴量を用いた機械学習を行い、学習済モデル２６２を生成する（ステップＳ２３）。機械学習のアルゴリズムとしては、用いる初期モデル３０２に合わせて公知のものを用いることができる。このとき、図５に示すように、データ解析部２２には、初期モデル３０２及び学習用パラメータ３０４が入力される。なお、初期モデル３０２は、特徴学習部２６の図示しない記憶部に予め保存されていても良い。
【００５６】
特徴学習部２６に入力される初期モデル３０２としては、学習用画像データ２０４を入力として利用可能であればいずれのモデルであっても良い。特徴学習部２６に入力される初期モデル３０２としては、例えばサポートベクターマシン、ニューラルネットワーク又はランダムフォレスト等のモデルを用いることができる。特徴学習部２６は、画像データ２０４ａを入力すると、画像データ２０４ａに含まれる特徴（特徴の種別及び特徴の位置）２０４ｂを示す出力値を出力するように、初期モデル３０２を学習させる。一例として初期モデルにニューラルネットワークを用いた場合について説明する。
【００５７】
図７に示すように、学習対象となる初期モデル３０２としてのニューラルネットワークは、入力側から順に、入力層３０２ａ、中間層（隠れ層）３０２ｂ、出力層３０２ｃを備える。なお、中間層３０２ｂは一層に限られず、２層以上の中間層３０２ｂを備えていてよい。
各層は、それぞれ一又は複数のニューロンを備えている。入力層３０２ａ、中間層（隠れ層）３０２ｂ、出力層３０２ｃの各層は、１又は複数のニューロンを備えている。例えば、入力層３０２ａのニューロンの数は、入力される画像データ２０４ａの画素数に応じて設定することができる。中間層３０２ｂのニューロンの数は実施の形態に応じて適宜設定することができる。また、出力層３０２ｃは、解析対象とする特徴の種類の数に応じて設定することができる。
【００５８】
隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図７の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
【００５９】
学習用パラメータ３０４は、学習済モデル２６２を得るために設定される設定値である。特徴学習部２６は、学習済モデル２６２が最適解を出すことができるパラメータを走査して設定する。例えば、図７に示すように、特徴Ａ〜特徴Ｈの少なくともいずれかの特徴を含み、かつ、画像中の当該特徴の位置が既知である学習用画像データ２０４を用いることにより、当該学習用画像データ２０４に含まれる特徴２０４ｂを示す出力値が出力されるように、学習用パラメータ３０４が調整される。学習用パラメータ３０４の調整には、適切と考えられるパラメータの組み合わせをすべて試すグリッドサーチや、パラメータの組み合わせを無作為に試すランダムサーチ等が用いられ、これらのパラメータの組み合わせが学習用パラメータ３０４として入力される。
【００６０】
最後に、ステップＳ２３において生成された学習済モデル２６２が特徴学習部２６（又は特徴抽出部２０）の図示しない記憶部に保存される（ステップＳ２４）。以上により、学習用画像データ２０４を用いた機械学習により学習済モデル２６２が生成される。
【００６１】
（設定時の動作）
次に、図８及び図９を参照して、設定用画像データ２０６を用いた診断基準を決定するための閾値設定時の動作について説明する。図８及び図９は、設定用画像データ２０６を用いた閾値設定時の動作を説明するブロック図及びフローチャートである。図８に示すように、設定用画像データ２０６を用いた閾値設定時には、診断装置１００の特徴抽出部２０、スコア算出部３０、診断部４０及び表示部１０を用いて閾値が設定される。
【００６２】
まず、診断装置１００の特徴抽出部２０に、保護材付き配管の外観及びその周辺の架台等を含む領域を撮影した設定用画像データ２０６を入力する（ステップＳ３１）。設定用画像データ２０６は、例えば以前撮影された保護材付き配管及びその周辺の外観を含む画像データであり、設定用画像データに対応する配管を実際に測定することにより、予め配管の厚み減少量等の内部状態の指標となるデータが明らかになっている。
【００６３】
次に、特徴抽出部２０のデータ解析部２２において、入力された設定用画像データ２０６に対してＯＲＢアルゴリズム等を用いた画像解析を行う（ステップＳ３２）。画像解析のアルゴリズムとしては、例えばＯＲＢが用いられる。データ解析部２２は、画像解析により得られた結果を、特徴推論部２４及びスコア算出部３０の少なくとも一方に出力する。ステップＳ３２では、ステップＳ１２と同様に、得られた解析結果の内容に応じて、特徴をデータ解析部２２から特徴推論部２４又はスコア算出部３０に出力する。
【００６４】
次に、特徴抽出部の特徴推論部２４において、入力した解析結果に対する学習済モデル２４２の推論結果として特徴を得る（ステップＳ３３）。特徴推論部２４は、得られた推論結果（特徴）を、スコア算出部３０に出力する。
続いて、スコア算出部３０において、データ解析部２２及び特徴推論部２４のそれぞれから入力された特徴に基づいて、設定用スコアを算出する（ステップＳ３４）。設定用スコアは、診断用スコアと同様のスコアである。ステップＳ３４では、ステップＳ１４と同様に、入力された特徴に基づいて複数の特徴毎の診断用部分スコアを算出し、各診断用部分スコアを加算して設定用画像データのトータルスコアを算出する。
【００６５】
続いて、診断部４０の診断基準設定部４２において、スコア算出部３０から入力されたトータルスコアに基づいて閾値を設定する（ステップＳ３５）。このとき、診断部４０には、特徴抽出部２０に入力された各設定用画像データ２０６に対応する配管の厚み減少量等の内部状態の指標となるデータが入力される。内部状態の指標となるデータは、診断部４０から表示部１０にも入力される。
【００６６】
図６に示すように、ステップＳ３５では、例えば、各設定用画像データ２０６に対応するトータルスコア及び配管の厚み減少量が表示部１０に表示される。各設定用画像データ２０６に対応するトータルスコア及び配管の厚み減少量は、トータルスコアを基準として昇順もしくは降順に並べて表示されることが好ましい。表示部１０では、トータルスコアを実線で示し、対応する配管の厚み減少量を散布図で示している。
【００６７】
ユーザは、表示部１０に表示された各設定用画像データ２０６に対応するトータルスコア及び配管の厚み減少量に基づき、図示しない入力部を介して診断基準設定部４２に対して閾値の設定指示を入力する。閾値の設定指示は、例えば閾値の数値を入力しても良く、表示部１０に表示されたスライダをマウス等により動かして閾値を決定しても良い。ユーザは、閾値の数値として、例えばランク「Ｒ−１」とランク「Ｒ−２」との閾値ＴＨ１、ランク「Ｒ−２」とランク「Ｒ−３」との閾値ＴＨ２及びランク「Ｒ−３」とランク「Ｒ−４」との閾値ＴＨ３となるトータルスコアをそれぞれ入力することができる。ここで、例えば、「Ｒ−１」「Ｒ−２」は要経過観察を示すランクであり、「Ｒ−３」「Ｒ−４」は配管の厚み減少量等の配管の劣化を実際に測定する定量検査（例えば、超音波検査）が必須であることを示すランクとすることができる。
【００６８】
また、閾値は、配管の内容物に応じて、診断結果がより安全側に傾くように設定しても良い。例えば配管を通る内容物が配管の劣化を高める性質を有する材料である場合、上述の閾値ＴＨ２の数値を低く設定することにより、要定量検査と判断される配管の割合が増加し、診断結果がより安全側に傾く。
また、診断基準設定部４２では、閾値の設定指示の入力に代えて、診断基準設定部４２に予め入力された条件に基づき閾値が自動的に設定されるようにしても良い。
【００６９】
以上により、診断基準設定部４２において、診断時に用いる閾値が設定される。閾値は１又は複数設定される。
【００７０】
（診断プログラム）
本実施形態に係る診断装置１により実行される診断プログラムについて説明する。診断装置１は、以下の（ａ）〜（ｆ）の各動作をコンピュータに実行させるプログラムに従って、診断を行う。以下のプログラムは、例えばハードディスクドライブ、メモリ等の記録媒体やＤＶＤディスク又はＢｌｕ−ｒａｙ（登録商標）等の光ディスクに記録される。以下のプログラムは、インターネットを介して配布されても良い。さらに、以下のプログラムは、クラウドサーバに記録され、インターネットを介して各ステップが実行されても良い。
【００７１】
（ａ）検査対象を外部から測定して診断用センサデータを取得すること
（ｂ）診断用センサデータから、予め定められた少なくとも１つの特徴を抽出すること
（ｃ）抽出された特徴に基づいて、診断用センサデータが有する特徴に関連づけられた診断用部分スコアを算出すること
（ｄ）診断用部分スコアに基づいて、診断用センサデータの診断用スコアを算出すること
（ｅ）診断用スコアに基づいて、検査対象の状態を診断した診断結果を取得すること
（ｆ）診断用スコアと診断結果とを表示部に表示すること
【００７２】
＜第一実施形態の効果＞
第一実施形態に係る診断装置１００は、以下の効果を有する。
（１）診断装置１００は、診断用画像データ２０２の特徴に関連付けられた診断用部分スコアを算出し、診断の根拠として、表示部１０に診断用部分スコアを表示する。このため、ユーザに対して診断根拠を一見して示すことができる。
（２）診断装置１００では、検査対象内部の状態（配管の腐食等）に関連して検査対象外部に生じる特徴（配管を覆う保護材表面の変色や変形等の変質）に基づいて、検査対象内部の状態を診断することが可能である。
【００７３】
（３）診断装置１００は、学習用画像データ２０４を用いた機械学習により得られた学習済モデル２４２を有しており、学習済モデル２４２は、学習用画像データ２０４に対する推論結果を診断用画像データ２０２の特徴として抽出する。このため、学習用画像データ２０４の特徴を精度よく抽出することができる。
（４）診断装置１００は、複数の前記診断用部分スコアＡ〜Ｈと、診断用部分スコアＡ〜Ｈに対応する特徴の名称（特徴Ａ〜Ｈ）とをレーダーチャート等のグラフとして表示する。このため、どの特徴が強く出ているかをユーザに一見して示すことができる。
【００７４】
（５）診断装置１００は、診断用画像データ２０２の解析結果を合成した解析後画像及び解析前の診断用画像１３２を表示部１０に表示する。このため、ユーザが診断用画像データ中に存在する特徴を視覚的に認識することができる。
（６）診断装置１００は、画像処理による特徴の抽出と、機械学習による（学習済モデル２４２を用いた）特徴の抽出と、の双方を使い分けることができる。このため、より正確で、早い診断を行うことができる。
【００７５】
（７）診断装置１００は、診断部４０おける診断時の診断基準を決定するための閾値を設定可能な診断基準設定部４２を有する。このため、診断時やその後の定量検査における制限（例えば、費用、期間、安全性及び人的工数）等に基づいて適切な閾値を設定することができる。
（８）診断装置１００は、診断後に配管状態の定量検査を行った場合、診断用画像データ２０２と定量検査により得られた劣化の実測値を学習用データ・診断用データとして用いることで、さらに精度のよい診断を可能とする。
【００７６】
（９）保護材付き配管は、プラント内において架台上に配置されている場合が多く、保護材付き配管が架台に接触している箇所には腐食が多く見られる。このような箇所に対して測定器を用いた定量的な検査を行うには、足場の設置や配管の吊り上げ等が必要であり、多大なコストがかかる。従来、配管の劣化の程度は、検査員が保護材付き配管の外観の状態との経験的関係に基づいて判断していた。このため、本来は定量検査が不要な状態の配管についても定量検査を行っており、不要な検査コストがかかっていた。
診断装置１００では、保護材付き配管周辺に現れる変質部分から抽出した、腐食推定に有効な要素を教師データとして学習済モデルを生成し、診断時に学習済モデルの推論結果を利用する。これにより、より適切に配管の状態を判断し、不要な定量検査を削減することができるため、定量検査に要するコストを削減することができる。
【００７７】
２．第二実施形態
以下、本開示の第二実施形態に係る診断装置３００について、図１０及び図１１を参照して説明する。
第二実施形態に係る診断装置３００は、表示部３１０において、複数の診断用画像データ２０２Ａ〜２０２Ｅに対する診断結果等を表示する複数対象評価結果表示領域３５０を有する点で、第１実施形態に係る診断装置１００と異なる。
以下、表示部３１０の表示について説明する。また、特徴抽出部２０、スコア算出部３０、診断部４０及び画像合成部５０については、診断装置１００特徴抽出部２０、スコア算出部３０、診断部４０及び画像合成部５０と同様であるため説明を省略する。
【００７８】
（表示部）
図１０の表示部３１０では、各表示領域を模式的に示している。診断装置３００の表示部３１０は、一つの診断用画像データ２０２Ａに関する診断結果および診断用部分スコア等を表示する単一対象評価結果表示領域３４０を有する。また、表示部３１０は、複数の診断用画像データ（例えば、５つの診断用画像データ２０２Ａ〜２０２Ｅ）に関する診断結果や診断用部分スコアを、診断用画像データ２０２Ａ〜２０２Ｅ毎に並べて表示する複数対象評価結果表示領域３５０を有する。
【００７９】
図１１に、表示部３１０の具体例を示す。表示部３１０は、複数対象評価結果表示領域３５０において、トータルスコアおよび診断用部分スコアを、例えば棒グラフ、散布図、又は折れ線グラフ等のグラフで表示している。図１１に示す表示部３１０では、トータルスコアを折れ線グラフで示しており、特徴Ａ〜特徴Ｄについての診断用部分スコアＡ〜診断用部分スコアＤを４つの棒グラフで示している。また、表示部３１０では、特徴Ｅ〜特徴Ｈについての診断用部分スコアＥ〜診断用部分スコアＨを「□」、「○」、「△」、「×」等により散布図で示している。複数対象評価結果表示領域３５０では、診断用画像データ２０２Ａ〜２０２Ｅのそれぞれの診断用部分スコアを診断用画像データ毎に近い位置に表示する。また、各診断用画像データ２０２Ａ〜２０２Ｅの診断用部分スコア群を、並べて表示する。
【００８０】
また、表示部３１０は、診断装置１００の表示部１０と同様に、一つの診断用画像データ２０２Ａの診断結果を表示する診断結果表示領域１１０及び一つの診断用画像データ２０２Ａの診断用部分スコアを表示する診断用部分スコア表示領域１２０を有している。また、表示部３１０は、診断装置１００の表示部１０と同様に、診断結果表示領域１１０、診断用部分スコア表示領域１２０、及び診断画像表示領域１３０を有している。診断結果表示領域１１０には、一つの診断用画像データ２０２Ａの診断画像（解析前の診断用画像１３２及び解析後画像１３４）が表示される。なお、診断用画像１３２は、例えば診断用画像データ２０２Ａに対応する診断用画像である。
【００８１】
さらに表示部３１０は、診断結果（ランク）毎のスコア範囲を示す表３６２と、各ランクと診断された診断用画像データの割合を示すグラフ３６４とが表示されたランク表示領域３６０を有している。表示部３１０は、単一対象評価結果表示領域３４０に診断結果等が表示される、複数の診断用画像データ２０２Ａ〜２０２Ｅのうちの一の画像データを選択可能にする診断用画像データ選択領域３７０を有している。ユーザが診断用画像データ選択領域３７０中に表示された複数の診断用画像データ２０２Ａ〜２０２Ｅのうちのいずれかを示す表示を選択することにより、単一対象評価結果表示領域３４０には選択された診断用画像データ２０２Ａ〜２０２Ｅのうちのいずれかの診断結果が表示される。
【００８２】
＜第二実施形態の効果＞
第二実施形態に係る診断装置３００は、第一実施形態に係る診断装置１００における効果（１）〜（９）に加えて、以下の効果を有する。
（１０）診断装置１００は、表示部１０に一つの診断用画像データ２０２Ａに関する詳細な診断結果、診断用部分スコア等を表示する単一対象評価結果表示領域３４０を有する。また、診断装置１００は、複数の診断用画像データ２０２Ａ〜２０２Ｅに関する診断結果、診断用部分スコアを表示する複数対象評価結果表示領域３５０を有する。また、診断装置１００は、これらの診断結果をレーダーチャートや、棒グラフ、散布図、又は折れ線グラフ等のグラフによって表示する。このため、診断装置１００は、ユーザに対して、診断用画像データ毎の詳細な診断結果と、複数の診断用画像データ間の比較結果とを一見して示すことができる。
【００８３】
３．ハードウェア構成
以下、第１実施形態に係る診断装置１及び第２実施形態に係る診断装置２のハードウェア構成の一例について詳細に説明する。
図１２に示すように、診断装置１は、記憶装置１００１、プロセッサを含む演算装置１００２及び通信路（ネットワーク）１１１０を介して外部装置と情報の送受信を行う通信インタフェース（Ｉ／Ｆ）１００３等のハードウェア資源を備えている。外部装置は、例えば撮像装置（不図示）又は画像を記憶するコンピュータ１１２０である。診断装置１は、記憶装置１００１に記憶された所定のプログラム及びデータに基づく情報処理を実行することにより、少なくとも入力された検査対象の画像から検査対象の状態を診断し、診断用スコアと診断結果とを表示部に表示するように構成されている。
【００８４】
演算装置１００２は、ハードウェアプロセッサとしてのＣＰＵ（Central Processing Unit）、１００２Ａ、ＲＡＭ（Random Access Memory）１００２Ｂ、及びＲＯＭ（Read-Only Memory）１００２Ｃを含む。演算装置１００２は、記憶装置１００１に記憶された所定のデータ及び所定のプログラムを用いた、特定の情報処理を実行する。なお、ハードウェアプロセッサとしては、ＣＰＵに限定されず、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の各種プロセッサを用いることができる。
【００８５】
記憶装置１００１は、ハードディスクドライブ、ソリッドステートドライブ等のメモリにより構成される補助記憶装置である。記憶装置１００１は、演算装置１００２による特定の情報処理に必要な所定のプログラム、および、所定のデータを記憶している。本開示において、記憶装置１００１は、演算装置１００２が診断用センサデータ取得処理、特徴抽出処理、診断用部分スコア算出処理、診断用スコア算出処理、診断結果取得処理、診断結果表示処理等を実行するためのプログラム１００８Ａ、診断用部分スコア及び診断用スコア（トータルスコア）等のスコア１００８Ｂ、特徴の名称１００８Ｃ、診断用画像１３２及び解析後画像１３４等の画像１００８Ｄ、学習済モデル２４２等のモデル１００８Ｅ等を記憶している。プログラム１００８Ａ、スコア１００８Ｂ、特徴の名称１００８Ｃ、画像１００８Ｄ及びモデル１００８Ｅのそれぞれは、記憶装置１００１の所定の領域（例えばプログラム記憶領域、スコア記憶領域、特徴の名称記憶領域、画像記憶領域、モデル記憶領域等）に分けて記憶されていてもよい。また、プログラム１００８Ａ、スコア１００８Ｂ、特徴の名称１００８Ｃ、画像１００８Ｄ及びモデル１００８Ｅが、別個に構成されたプログラム記憶部、スコア記憶部、特徴の名称記憶部、画像記憶部、モデル記憶部にそれぞれ記憶されるように構成されていてもよい。
【００８６】
なお、所定のデータ及び所定のプログラムは、記憶装置１００１に常時記憶されていなくてもよい。例えば、演算装置１００２が特定の情報処理を実行するときに、その一部または全部を、通信路１１１０を介して他の装置から取得してもよい。また、所定のデータ及び所定のプログラムは、演算装置１００２が特定の情報処理を実行するときに、後述のドライブ１１１を介して記憶媒体１１２から読み込んでもよい。
【００８７】
通信Ｉ／Ｆ１００３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、通信路１１１０を介して他の装置と有線又は無線通信を行うためのインタフェースである。本開示において、通信Ｉ／Ｆ１００３は、通信路１１１０を介して、後述のコンピュータ１１２０及び他の装置（図示せず）から所定のデータ等を受信するように構成されている。
【００８８】
診断装置１は、入力装置１１３及び例えば表示装置等の出力装置１１４をさらに備えていても良い。入力装置１１３としては、マウス、キーボード、タッチパネル等を用いることができる。また、出力装置１１４としては、ディスプレイ、スピーカ等を用いることができる。また、診断装置１は、ＣＤドライブ、ＤＶＤドライブ等の、記憶媒体１１２に記憶されたデータおよびプログラムを読み込むためのドライブ１１１をさらに備えていてもよい。
診断装置２についても同様の構成を有している。
【００８９】
以上、各実施形態により本開示の具体的な構成を説明したが、本開示の範囲は、図示され記載された例示的な実施形態に限定されるものではなく、本開示が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本開示の範囲は、請求項により画される発明の特徴の組み合わせに限定されるものではなく、全ての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画されうる。
【符号の説明】
【００９０】
１０，３１０  表示部
２０  特徴抽出部
２２  データ解析部
２４  特徴推論部
２６  特徴学習部
３０  スコア算出部
４０  診断部
４２  診断基準設定部
５０  画像合成部
１００，３００  診断装置
１１０  診断結果表示領域
１２０  診断用部分スコア表示領域
１３０  診断画像表示領域
１３２  診断用画像
１３４  解析後画像
２００  カメラ
２０２，２０２Ａ〜２０２Ｅ  診断用画像データ
２０４  学習用画像データ
２０６  設定用画像データ
２４２  学習済モデル
３０２  初期モデル
３０４  学習用パラメータ
３４０  単一対象評価結果表示領域
３５０  複数対象評価結果表示領域
３６０  ランク表示領域
３７０  診断用画像データ選択領域
【図１】
2020085327.tif 000003
【図２】
2020085327.tif 000004
【図３】
2020085327.tif 000005
【図４】
2020085327.tif 000006
【図５】
2020085327.tif 000007
【図６】
2020085327.tif 000008
【図７】
2020085327.tif 000009
【図８】
2020085327.tif 000010
【図９】
2020085327.tif 000011
【図１０】
2020085327.tif 000012
【図１１】
2020085327.tif 000013
【図１２】
2020085327.tif 000014
【国際調査報告】
2020085327.tif 000015
2020085327.tif 000016
2020085327.tif 000017
2020085327.tif 000018