(57)【要約】  点検データ受付部（１２０）は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習部（１３０）は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断部（１４０）は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示部（１５０）は、診断部（１４０）が診断対象について診断した診断結果から、点検作業の指示の内容を判別し、判別した結果に応じた指示を携帯型デバイスに送信する。
2020021589.tif 000002
【特許請求の範囲】
【請求項１】
診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、前記携帯型デバイスから受け付ける点検データ受付手段と、
ニューラルネットワークに過去に収集した点検データを入力し、前記診断対象の損傷の有無の診断について学習させる学習手段と、
前記点検データ受付手段が受け付けた前記点検データを前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力から前記診断対象の損傷の有無を診断する診断手段と、
前記診断手段が前記診断対象について診断した診断結果に応じた指示を前記携帯型デバイスに送信する指示手段と、
を備える情報処理装置。
【請求項２】
前記点検データは、前記携帯型デバイスが前記診断対象を撮影した画像データと、作業者による打音検査により発生した打音の音声データとを含み、
前記診断手段は、前記点検データ受付手段が受け付けた前記画像データと前記打音の音声データとから、前記診断対象の損傷の有無を診断する、
請求項１に記載の情報処理装置。
【請求項３】
前記指示手段は、作業者が前記診断対象を叩く位置を示す情報を前記携帯型デバイスに供給し、前記携帯型デバイスの表示装置に前記診断対象を叩く位置を表示させる、
請求項２に記載の情報処理装置。
【請求項４】
前記指示手段は、前記携帯型デバイスから取得した前記打音の音声データから、作業者が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、前記携帯型デバイスを介して作業者に指示を通知する、
請求項２又は３に記載の情報処理装置。
【請求項５】
診断結果に対応づけられた診断対象に対する処置の内容を示す情報を格納する処置情報記憶手段をさらに備え、
前記指示手段は、前記診断手段による前記診断対象の診断結果と一致する前記処置情報記憶手段の診断結果に対応づけられた処置を行う指示を前記携帯型デバイスに送信する、
請求項１から４のいずれか一項に記載の情報処理装置。
【請求項６】
前記指示手段は、前記診断対象までの経路を示す情報を前記携帯型デバイスに供給し、前記携帯型デバイスの表示装置に前記診断対象までの前記経路を表示させる、
請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記指示手段は、前記携帯型デバイスから受信した作業者の現在位置を示す情報から、作業者が前記診断対象の傍に到達したと判別した場合に、点検作業を示す指示を、前記携帯型デバイスに送信する、
請求項６に記載の情報処理装置。
【請求項８】
携帯型デバイスと、前記携帯型デバイスと相互に通信可能な情報処理装置と、を有する情報処理システムであって、
前記携帯型デバイスは、
診断対象に対する点検作業において収集した点検データを前記情報処理装置に送信する手段、
を備え、
前記情報処理装置は、
前記点検データを前記携帯型デバイスから受け付ける点検データ受付手段と、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断する診断手段と、
前記診断手段の診断結果に応じた指示を前記携帯型デバイスに送信する指示手段と、
を備える、
情報処理システム。
【請求項９】
携帯型デバイスと相互に通信可能なコンピュータが行う方法であって、
診断対象に対する点検作業において前記携帯型デバイスによって収集された点検データを前記携帯型デバイスから受け付けるステップと、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断するステップと、
前記診断するステップにおいて診断された前記診断対象についての診断結果に応じた指示を前記携帯型デバイスに送信するステップと、
を含む方法。
【請求項１０】
コンピュータが、
診断対象に対する点検作業において携帯型デバイスによって収集された点検データを前記携帯型デバイスから受信し、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断し、
診断結果に応じた指示を前記携帯型デバイスに送信する、
ようにさせるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、方法、及びプログラムに関する。
【背景技術】
【０００２】
工場設備において安全及び品質を維持するためには、機器の保守点検が欠かせない。このため、例えば、化学プラントにおいては、パイプ、タンク等を点検するため、複数の作業者が工場内を巡回しながら点検を行う。【０００３】
作業者が日常的に行う非破壊点検として、目視検査と打音検査とがある。例えば、作業者は、パイプを目視して、または、パイプを叩いたときの打音から、パイプに損傷が生じていないかを判断する。目視検査と打音検査とは作業者の手作業による点検であるため、作業者が異常の発生の有無を正しく判断するには、作業者が経験を積み、熟練したスキルを有している必要があった。このため、経験が浅い作業者は、熟練したスキルを有している作業者に同行して作業の経験を積んでいた。また、熟練したスキルを有した作業者がいない場合には、経験が浅い作業者は、マニュアルを読みながら又は制御管理室から電話による指示を受けながら作業を行うという実情があった。【０００４】
特許文献１に記載された情報処理システムにおいては、プラントにおいて、作業者が読み取った計器の指示値と、生産装置の動作パラメータを調整した調整量とを、作業者が携帯するウェアラブルコンピュータからホストコンピュータに送信することが記載されている。ホストコンピュータは、収集した計器の指示値と作業者による動作パラメータの調整量とを、他の作業者が携帯するウェアラブルコンピュータに送信する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２２５０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１においては、作業者間において、他の作業者が担当する計器の指示値と動作パラメータの調整量とを共有するのにとどまっており、最終的には、作業者自身が、自身が担当する計器の指示値から、異常の発生の有無の判断を行う必要があった。しかし、経験が浅い作業者にとっては適切な判断を行うことは困難であった。【０００７】
本発明は、上記実情に鑑みてなされたものであり、点検データから診断対象について診断を行い、点検についての適切な手順を作業者に提示することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明に係る情報処理装置において、点検データ受付手段は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習手段は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断手段は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示手段は、診断手段が診断対象について診断した診断結果に応じた指示を携帯型デバイスに送信する。
【発明の効果】
【０００９】
本発明に係る情報処理装置は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。診断結果に応じた指示を携帯型デバイスに送信する。このような構成を備えることで、点検データから診断対象について診断を行い、点検についての適切な手順を作業者に提示することを可能とする。
【図面の簡単な説明】
【００１０】
【図１】実施の形態に係る情報処理システムのハードウェア構成を示すブロック図
【図２】実施の形態に係る携帯型デバイスの構成の一例を示す図
【図３Ａ】実施の形態に係る情報処理装置の機能ブロック図
【図３Ｂ】実施の形態に係る処置テーブルのデータの一例を示す図
【図４Ａ】実施の形態に係る携帯型デバイスの表示パネルに表示される画像の一例を示す図
【図４Ｂ】実施の形態に係る携帯型デバイスの表示パネルに表示される画像の他の例を示す図
【図５】実施の形態に係る打音検査についての指示を示す画像の一例を示す図
【図６】実施の形態に係る打音検査についての指示を示す画像の他の例を示す図
【図７】実施の形態に係る保守作業についての指示を示す画像の一例を示す図
【図８】実施の形態に係る情報処理装置のディスプレイに表示される構内の地図の画像の一例を示す図
【図９】実施の形態に係る点検作業処理のフローチャート
【図１０】変形例１に係る処置テーブルのデータの一例を示す図
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態に係る情報処理システム１について、図面を参照しつつ詳細に説明する。
【００１２】
（実施の形態）
図１に示すように、本発明の実施の形態１に係る情報処理システム１は、情報処理装置１００と、複数の携帯型デバイス２００とを含む。情報処理システム１は、例えば、化学プラント、鉄鋼プラント等の保守点検業務を管理するシステムである。情報処理装置１００は、携帯型デバイス２００が収集したプラント内の設備の点検データから、プラント内の設備に損傷が発生しているか否かの診断を行う。
【００１３】
情報処理装置１００は、プラントの制御管理室に設置されている。プラントの構内を巡回しながら点検作業を行う作業者５０は、携帯型デバイス２００をそれぞれ携帯している。携帯型デバイス２００は、図２に示すように、作業者５０が装着するウェアラブルコンピュータである。具体的には、携帯型デバイス２００は、作業者５０が着用するヘルメット１０に一体的に取り付けられている。図１に示すように、情報処理装置１００と携帯型デバイス２００とは無線通信を行う。例えば、情報処理装置１００は、作業者５０への指示を携帯型デバイス２００に送信する。携帯型デバイス２００は、取得した点検データを情報処理装置１００に送信する。点検データは、診断対象の状態を示すデータである。実施の形態において、点検データは、作業者５０による打音検査の打音の音声データと、診断対象を撮影した画像データと、ガス濃度の測定値とを含む。
【００１４】
情報処理装置１００はハードウェア構成として、各種データを記憶するメモリ１０１と、ユーザの入力操作を検出する入力装置１０２と、画像を表示装置に出力する出力装置１０３と、他の装置と無線通信を行う無線通信回路１０４と、情報処理装置１００全体を制御するプロセッサ１０５とを有する。メモリ１０１と、入力装置１０２と、出力装置１０３と、無線通信回路１０４とはいずれもバス１０９を介してプロセッサ１０５に接続されており、プロセッサ１０５と通信する。
【００１５】
メモリ１０１は、揮発性メモリと不揮発性メモリとを含み、プログラムと各種データとを記憶する。また、メモリ１０１はプロセッサ１０５のワークメモリとして用いられる。また、メモリ１０１は、情報処理装置１００における点検作業処理を実現するためのプログラム１０００を記憶する。
【００１６】
入力装置１０２は、キーボード、マウス、タッチパネル等を含み、制御管理室内のユーザの入力操作を検出し、検出したユーザの入力操作を示す信号をプロセッサ１０５に出力する。
【００１７】
出力装置１０３は、ディスプレイ、タッチパネル等を含み、プロセッサ１０５から供給される信号に基づく画像を表示する。出力装置１０３は、例えば、制御管理室内のユーザの操作に応答して、プラントの構内の地図をディスプレイに表示する。また、出力装置１０３は、携帯型デバイス２００が撮影した画像データをディスプレイに表示する。
【００１８】
無線通信回路１０４は、アンテナ１０４ａを有し、他の装置と無線通信を行うためのネットワークインタフェース回路を含む。無線通信回路１０４は、プロセッサ１０５から供給されたデータを、電気信号に変換し、電気信号を電波に乗せて出力する。また、無線通信回路１０４は、他の装置から出力された電波を受信し、電波に乗せられた電気信号をデータに復元してプロセッサ１０５に出力する。
【００１９】
プロセッサ１０５は、ＣＰＵ（Central Processing Unit）を含み、メモリ１０１に記憶される各種プログラムを実行して、情報処理装置１００の各種機能を実現する。プロセッサ１０５は、ＡＩ（Artificial Intelligence）用の専用プロセッサをさらに備えているものとする。
【００２０】
図２に示すように、携帯型デバイス２００は作業者５０が着用するヘルメット１０に一体的に取り付けられたＡＲ（Augmented Reality）のヘッドマウントディスプレイである。図１に示すように、携帯型デバイス２００は、ハードウェア構成として、各種データを記憶するメモリ２０１と、情報処理装置１００から供給された情報を作業者５０に提示する出力装置２０２と、点検に関するデータを収集する収集装置２０３と、他の装置と無線通信を行う無線通信回路２０４と、携帯型デバイス２００全体を制御するプロセッサ２０５とを有する。メモリ２０１と、出力装置２０２と、収集装置２０３と、無線通信回路２０４とはいずれもバス２０９を介してプロセッサ２０５に接続されており、プロセッサ２０５と通信する。
【００２１】
メモリ２０１は、揮発性メモリ、不揮発性メモリを含み、プログラムと各種データを記憶する。メモリ２０１はプロセッサ２０５のワークメモリとして用いられる。また、メモリ２０１は、携帯型デバイス２００における点検データの収集処理を実現するためのプログラム２０００を記憶する。メモリ２０１は図２に示す本体部２０に収容されている。
【００２２】
出力装置２０２は、表示パネル２０２ａとスピーカ２０２ｂとを有する。表示パネル２０２ａは、プロセッサ２０５の制御に従って、情報処理装置１００から受信した画像を表示パネル２０２ａに表示する。表示パネル２０２ａに表示される画像は、例えば、作業者５０に対する作業の指示を示す画像である。図２に示すように、実施の形態においては、表示パネル２０２ａは、作業者５０の片方の目の前に位置するよう配置されている。表示パネル２０２ａは、作業者５０の片方の目を覆う程度の大きさを有しているものとする。
【００２３】
図１に示すように、スピーカ２０２ｂはプロセッサ２０５の制御に従って、情報処理装置１００から受信した音声を出力する。スピーカ２０２ｂから出力される音声は、例えば、作業者５０に対する作業の指示を示す音声である。スピーカ２０２ｂは図２に示す本体部２０に収容されている。
【００２４】
図１に示すように、収集装置２０３は、カメラ２０３ａと、マイク２０３ｂと、ガス検知センサ２０３ｃと、ＧＰＳ（Global Positioning System）受信機２０３ｄとを有し、プロセッサ２０５の制御に従って、点検に係る各種データを収集する。
【００２５】
図２に示すように、カメラ２０３ａは、レンズが作業者５０の視線と同じ方向を向くように、作業者５０の顔の側面に配置されている。カメラ２０３ａは、作業者５０が向く方向に存在する診断対象を撮影する。カメラ２０３ａは、電源がオンされている間、継続して撮影を行い、撮影した画像データをプロセッサ２０５に出力する。
【００２６】
図２に示すように、マイク２０３ｂは、作業者５０の顔の側面であって、ヘルメット１０とカメラ２０３ａに挟まれる位置に取り付けられている。マイク２０３ｂは、作業者５０が発した音声、打音検査で発生した打音等を収集する。マイク２０３ｂは、音声の入力を検出すると、収集した音声をプロセッサ２０５に出力する。
【００２７】
ガス検知センサ２０３ｃは、周囲の空気を吸引し、空気中の指定されたガスの濃度を測定し、測定値をプロセッサ２０５に出力する。図２に示すように、ガス検知センサ２０３ｃは、本体部２０にケーブル２０３ｅを介して接続されている。ガス検知センサ２０３ｃはケーブル２０３ｅを介して、プロセッサ２０５に測定値を出力する。これは、作業者５０が、ガス検知センサ２０３ｃを動かして、周囲のガスを吸引することができるようにするためである。
【００２８】
図１に示すＧＰＳ受信機２０３ｄは、ＧＰＳ衛生から受信した衛星電波から、作業者５０の現在位置を特定し、特定した位置を示す位置データをプロセッサ２０５に出力する。ＧＰＳ受信機２０３ｄが出力する位置データは、３次元の座標で表されるものとする。ＧＰＳ受信機２０３ｄでは、決められた期間毎に、例えば、１分おきに、作業者５０の現在位置を示す情報をプロセッサ２０５に出力する。ＧＰＳ受信機２０３ｄは図２に示す本体部２０に収容されている。
【００２９】
図１に示す無線通信回路２０４は、アンテナ２０４ａを有し、他の装置の無線通信回路と無線通信を行う。無線通信回路２０４は、プロセッサ２０５から供給されたデータを、電気信号に変換し、電気信号を電波に乗せて出力する。また、無線通信回路２０４は、他の装置から出力された電波を受信し、電波に乗せられた電気信号をデータに復元してプロセッサ２０５に出力する。無線通信回路２０４は図２に示す本体部２０に収容されている。
【００３０】
図１に示すプロセッサ２０５は、ＣＰＵを含み、メモリ２０１に記憶される各種プログラムを実行して、携帯型デバイス２００の各種機能を実現する。
【００３１】
また、プロセッサ２０５は、プログラム２０００を実行して、点検データの収集処理を実行する。プロセッサ２０５は、決められた期間毎に、カメラ２０３ａが出力した画像データを、無線通信回路２０４を介して情報処理装置１００に送信する。プロセッサ２０５は、マイク２０３ｂが音声データを出力すると、その音声データを、無線通信回路２０４を介して情報処理装置１００に送信する。プロセッサ２０５は、ガス検知センサ２０３ｃがガス濃度の測定値を出力すると、その測定値を、無線通信回路２０４を介して情報処理装置１００に送信する。プロセッサ２０５は点検データ以外に、決められた期間毎に、ＧＰＳ受信機２０３ｄが出力する作業者５０の現在位置を示す情報を、無線通信回路２０４を介して情報処理装置１００に送信する。プロセッサ２０５は図２に示す本体部２０に収容されている。
【００３２】
図３Ａに示すように、情報処理装置１００は、機能的には、点検及び診断に係る各種データを記憶する記憶部１１０と、携帯型デバイス２００から点検データを受け付ける点検データ受付部１２０と、ディープラーニングを行う学習部１３０と、点検データ受付部１２０が受け付けた点検データと学習部１３０の学習結果とから診断対象の損傷の有無を診断する診断部１４０と、作業者５０への指示の内容を判別し、判別した指示の内容を携帯型デバイス２００に出力する指示部１５０とを含む。点検データ受付部１２０は本発明の点検データ受付手段の一例である。学習部１３０は本発明の学習手段の一例である。診断部１４０は、本発明の診断手段の一例である。指示部１５０は本発明の指示手段の一例である。
【００３３】
実施の形態においては、情報処理装置１００は、学習済みのニューラルネットワークを使用して、診断対象に損傷が生じているか否かを診断する。情報処理装置１００が出力する診断結果は、診断対象に損傷が生じていないという診断結果、または、診断対象に損傷が生じているという診断結果のいずれかであるものとする。
【００３４】
記憶部１１０は、点検及び診断に係る各種データを記憶する。具体的には、記憶部１１０は、点検作業に関する点検マニュアル１１１と、点検の実施に関する履歴データ１１２と、点検のための各種の基準データ１１３と、ニューラルネットワークを定義する学習モデル１１４と、学習データ１１５と、診断対象に対する処置の内容を示すデータを格納した処置テーブル１１６とを記憶する。記憶部１１０の機能は、メモリ１０１により実現される。処置テーブル１１６は、本発明の処置情報記憶手段の一例である。
【００３５】
点検マニュアル１１１は、点検対象の位置、点検方法に関する情報を含む。点検マニュアル１１１は、プラントの構内の地図データと、プラントの構内における診断対象であるパイプ、タンク等の位置を示す位置データとを含む。なお、診断対象の位置データは、３次元の座標で表されるものとする。
【００３６】
さらに、点検マニュアル１１１は、打音検査のときに、診断対象を叩く位置を示す情報を含む。診断対象を叩く位置を示す情報についても、３次元の座標で表されるものとする。例えば、診断対象が構内に延伸するパイプである場合、１本のパイプに対する打音検査で、複数の箇所を叩かなければならない場合もある。このような場合、点検マニュアル１１１は、パイプを叩く位置のみならず、パイプを叩く順序を示す情報も含む。
【００３７】
履歴データ１１２は、具体的には、携帯型デバイス２００から受信した点検データと当該点検が実施された日時とを含む点検履歴のデータと、診断対象を特定する情報と、診断結果データとを含む。前述のように点検データには、診断対象を撮影した画像データと、作業者による打音検査の打音の音声データと、ガス濃度の測定値と、が含まれる。診断対象を特定する情報は、例えば、診断対象の位置を示す情報である。診断結果データは、診断部１４０が点検データから診断した診断結果を示すデータを含む。例えば、診断結果データは、診断対象の損傷の発生の有無を示す。
【００３８】
基準データ１１３は、打音検査の音の適正な大きさを示す基準値を含む。指示部１５０は、携帯型デバイス２００から受信した打音の大きさがこの基準値未満である場合、携帯型デバイス２００を介して、作業者５０にさらに強く叩くよう指示を出す。さらに、基準データ１１３は、ガス漏れが発生しているか否かを判断する基準となるガスの濃度の閾値を記憶する。
【００３９】
学習モデル１１４は、ニューラルネットワークの形状、規模を定義する情報を含む。具体的には、学習モデル１１４は、学習モデルを表す数式、中間層の総数、各層のニューロン（ノード）の数、各ニューロンの重み係数等を含む。実施の形態においては、記憶部１１０は、画像認識に適した学習モデルと音声認識に適した学習モデルとを記憶する。これは、診断部１４０が、診断対象を撮影した画像データと、打音の音声データとを、学習済みのニューラルネットワークに入力して、ニューラルネットワークの出力から診断を行うからである。記憶部１１０が記憶する学習モデルの各ニューロンの重み係数は、学習部１３０の学習により更新される。
【００４０】
学習データ１１５は、後述の学習部１３０の学習において、過去に収集された点検データそれぞれについて、点検対象の損傷有り又は点検対象の損傷無しに分類されたデータを含む。
【００４１】
例えば、診断対象がパイプであると仮定する。この場合、学習データ１１５は、損傷が発生しているパイプの画像データ、損傷が発生しているパイプを叩いたときの打音の音声データと、それぞれの診断対象についての損傷の有無を示す値とがセットにされたデータを含む。さらに、学習データ１１５は、損傷が発生していないパイプの画像データ、損傷が発生していないときのパイプを叩いたときの打音の音声データと、それぞれの診断対象についての損傷の有無を示す値とがセットにされたデータとを含む。学習データ１１５に含まれる画像データ、音声データは、過去の点検時に携帯型デバイス２００により収集されたデータであってもよいし、他の機器、例えば、個別のカメラ、マイク等により収集されたデータであってもよい。なお、学習データ１１５は、診断対象の材質、診断対象の大きさ、内部を流れるガス等の診断対象に関する前提によりグループ分けされているものとする。学習データ１１５に含まれる点検データが、損傷有りの点検対象についてのデータであるか、損傷無しの点検対象についてのデータであるかの分類は、例えば、過去の点検において収集された画像、音声データに基づいて熟練した作業者が判断した診断結果からなされたものである。
【００４２】
処置テーブル１１６は、診断対象毎に、診断対象に損傷が発生している等と診断された場合に作業者５０が取るべき対処方法を定義したテーブルである。図３Ｂに示す例では、ガス漏れが発生していると診断された場合には、対処方法として、バルブを閉めることが定義されている。パイプが損傷していると診断された場合には、報告することが定義されている。この場合、パイプの交換が必要であり、制御管理室への報告の後に、パイプの補修作業、交換作業等が行われることになるためである。
【００４３】
点検データ受付部１２０は、携帯型デバイス２００から診断対象に係る点検データの入力を受け付ける。点検データ受付部１２０の機能は、無線通信回路１０４とプロセッサ１０５とにより実現される。点検データ受付部１２０は、携帯型デバイス２００から受け付けた点検データと、受け付けた日時及び携帯型デバイス２００の位置データとを対応付けて診断部１４０に出力する。さらに点検データ受付部１２０は、受け付けた点検データと、受け付けた日時及び送信元の携帯型デバイス２００を識別する情報とを対応付けて記憶部１１０に格納する。
【００４４】
学習部１３０は、学習モデル１１４により定義された構成のニューラルネットワークに、学習データ１１５を入力し、例えば、バックプロパゲーション法により、ニューラルネットワークの出力が予め求められた真値に近づくよう、ニューラルネットワークの中間層のニューロンの重み係数を調整し、診断部１４０の診断に使用される学習モデルを決定する。実施の形態においては、損傷無しと、損傷有りとを判別するので、学習部１３０は、出力層のニューロンを２個配置する。学習データとしては、過去の点検データと、点検対象の損傷の有無を示すニューロンの番号とがセットにされたデータを複数組用意する。学習部１３０は、各学習データの点検データをニューラルネットワークに供給し、対応する番号が示す出力層のニューロンが発火するように、中間層と出力層の各ニューロンの重み係数をバックプロパゲーション法を用いて調整する。学習により、調整された重み係数で学習モデル１１４の重み係数の値が更新される。このようにして、ニューラルネットワークに入力と出力との関係を学習させる。学習部１３０の機能は、プロセッサ１０５により実現される。
【００４５】
ニューラルネットワークに与えられる学習データ１１５の例を示す。例えば、学習データ１１５は、（ａ）損傷したパイプの画像データと、損傷ありを示す値とのセット、（ｂ）損傷していないパイプの画像データと、損傷無しを示す値とのセット、（ｃ）損傷したパイプの打音の音声データと、損傷ありを示す値とのセット、（ｄ）損傷していないパイプの打音の音声データと、損傷無しを示す値とのセット、を含む。
【００４６】
画像認識に適した学習モデルを採用したニューラルネットワークは、（ａ）の画像データを入力とし、損傷が生じていることを示す値を出力として、中間層のニューロンの重み係数を調整し、さらに、（ｂ）の画像データを入力とし、損傷が生じていないことを示す値を出力として、中間層のニューロンの重み係数を調整する。
【００４７】
また、音声認識に適した学習モデルを採用したニューラルネットワークは、（ｃ）の音声データを入力とし、損傷が生じていることを示す値を出力として、中間層のニューロンの重み係数を調整し、さらに、（ｄ）の音声データを入力とし、損傷が生じていないことを示す値を出力として、中間層のニューロンの重み係数を調整する。なお、上記の学習は一例であり、学習データ１１５は、（ａ）〜（ｄ）のうち一部のデータのみを含んでいてもよい。この場合もディープラーニングは可能である。
【００４８】
従って、学習済みのニューラルネットワークに新たな点検データを入力すると、ニューラルネットワークは、診断対象についての損傷の有無を示す値を出力する。即ち、学習済みのニューラルネットワークは、診断対象の損傷の有無を判断することができる。このようにして、学習済みのニューラルネットワークが、携帯型デバイス２００が収集した画像データ、音声データから、パイプが損傷を有しているか否かを診断することが可能になる。学習部１３０の学習は、携帯型デバイス２００から点検データが供給される前に予め行っておく必要がある。
【００４９】
診断部１４０は、学習部１３０による学習済みの学習モデルを実現したニューラルネットワークに、携帯型デバイス２００から受信した点検データを入力して、その出力から診断対象の損傷の有無を診断する。診断部１４０の機能は、プロセッサ１０５により実現される。診断部１４０は、例えば、携帯型デバイス２００が撮影したプラントにあるパイプの撮影画像を、学習済みの学習モデルを採用したニューラルネットワークに入力し、ニューラルネットワークの出力値から、診断対象が損傷しているか否かを診断する。診断部１４０は、診断の結果を、指示部１５０に出力する。
【００５０】
また、診断部１４０は、携帯型デバイス２００が収集した打音の音声を、学習済みの学習モデルを採用したニューラルネットワークに入力し、ニューラルネットワークの出力値から、診断対象が損傷しているか否かを診断する。診断部１４０は、診断の結果を、指示部１５０に出力する。
【００５１】
また、診断部１４０は、携帯型デバイス２００が測定したガス濃度の測定値が、基準データ１１３に定義された閾値を超えている場合には、ガス漏れが発生していると判別する。診断部１４０は、診断の結果を、指示部１５０に出力する。
【００５２】
指示部１５０は、点検作業の指示の内容を判別して、判別した結果に応じた点検作業の指示を携帯型デバイス２００に送信する。ここで、指示部１５０が判別する点検作業の指示には、（ｉ）診断部１４０の診断結果によらない作業指示と、（ｉｉ）診断部１４０の診断結果に基づく作業指示とがある。
【００５３】
（ｉ）の例として、例えば、指示部１５０は、作業者５０に検査対象の位置に移動するよう指示する。この場合、指示部１５０は、携帯型デバイス２００のＧＰＳ受信機２０３ｄが求めた作業者５０の位置を示す位置データと、点検マニュアル１１１から点検対象の位置データと、を取得する。指示部１５０は、携帯型デバイス２００に、プラントの構内を示す地図上における作業者５０の現在の位置データ及び診断対象の位置データと、診断対象の位置に移動する指示とを送信する。
【００５４】
従って、携帯型デバイス２００のプロセッサ２０５は、表示パネル２０２ａに、図４Ａに示すようなプラントの構内の地図の画像と、診断対象の位置３０を示す画像とを表示する。図示する例では、作業者５０の現在位置を黒塗りの人型の画像で表し、診断対象の位置３０を黒塗りの星の画像で表している。さらに、作業者５０から診断対象の位置３０までの経路が矢印で表されている。さらに、指示部１５０は、音声による指示を出力することを示す信号を携帯型デバイス２００に送信してもよい。この場合、携帯型デバイス２００のプロセッサ２０５は、指定された位置３０まで移動するよう指示する音声をスピーカ２０２ｂから出力する。
【００５５】
さらに、指示部１５０は、作業者５０が移動中に、図４Ｂに示すように、道順を示す矢印の画像を表示パネル２０２ａに表示させるよう携帯型デバイス２００を制御してもよい。この場合、携帯型デバイス２００のプロセッサ２０５は、表示パネル２０２ａに矢印の画像を表示する。よって、表示パネル２０２ａ上には、現実の構内の通路と、矢印の画像とが重ね合わせられて表示される。
【００５６】
指示部１５０は、携帯型デバイス２００から受信する位置データと、点検マニュアル１１１に含まれるプラントの構内の地図データから、作業者５０が診断対象の位置３０に到達したと判別すると、点検作業の指示を携帯型デバイス２００に送信する。具体的には、指示部１５０は、診断対象を叩く箇所を作業者５０に示すため、点検マニュアル１１１に含まれている打音検査において叩く位置の情報と、当該箇所を叩く指示とを、携帯型デバイス２００に送信する。
【００５７】
従って、携帯型デバイス２００のプロセッサ２０５は、図５に示すように作業者５０が叩くべき位置を示す画像と、「叩け」という指示を表示パネル２０２ａに表示する。図示する例では、パイプ１００１、１００２のうち、診断対象はパイプ１００２であり、斜線で示した箇所が叩く位置を示す。よって、表示パネル２０２ａ上には、現実のパイプ１００１、１００２と、「叩け」という指示と、叩くべき位置を示す画像とが、重ね合わせられて表示される。さらに、指示部１５０は、音声による指示を出力することを示す信号を携帯型デバイス２００に送信してもよい。この場合、携帯型デバイス２００のプロセッサ２０５は、診断対象を叩くよう指示する音声をスピーカ２０２ｂから出力する。
【００５８】
指示部１５０は、打音の音声データを携帯型デバイス２００から受信すると、その音の大きさが十分な大きさであるか否かを判別し、打音の大きさが十分な大きさでない場合には、さらに強く叩く指示を携帯型デバイス２００に送信する。従って、携帯型デバイス２００のプロセッサ２０５は、図６に示すように、さらに強く叩く指示を表示パネル２０２ａに表示する。図示する例では、指示内容を示す「もう少し強く叩け」と表示されている。さらに、指示部１５０は、音声による指示を出力することを示す信号を携帯型デバイス２００に送信してもよい。この場合、携帯型デバイス２００のプロセッサ２０５は、さらに強く叩くよう指示する音声をスピーカ２０２ｂから出力する。
【００５９】
指示部１５０は、さらに、ガス濃度を検出する指示を携帯型デバイス２００に送信する。従って、携帯型デバイス２００のプロセッサ２０５は、ガス検知センサ２０３ｃを使用してガス濃度を検出する指示を表示パネル２０２ａに表示する。さらに、指示部１５０は、音声による指示を出力することを示す信号を携帯型デバイス２００に送信してもよい。この場合、携帯型デバイス２００のプロセッサ２０５は、ガス検知センサ２０３ｃを使用してガス濃度を検出するよう指示する音声をスピーカ２０２ｂから出力する。
【００６０】
また、指示部１５０は、診断部１４０の診断結果が損傷の発生していることを示すものである場合、（ｉｉ）診断部１４０の診断結果に基づく作業指示を以下のように出す。例えば、診断部１４０が、ガス漏れが発生していると判別した場合、指示部１５０は、診断結果と処置テーブル１１６とに基づいて、作業者５０が行うべき指示を携帯型デバイス２００に送信する。診断結果がガス漏れの発生であるので、図３Ｂに示すように、バルブを時計回りに回すことが行うべき処置である。指示部１５０は、対象のバルブの位置を示す情報と、バルブを回す方向を示す情報とを携帯型デバイス２００に送信する。
【００６１】
従って、携帯型デバイス２００のプロセッサ２０５は、図７に示すように、対象となるバルブについて、「回して閉めろ」という指示と、バルブを回す方向を示す矢印の画像とを表示パネル２０２ａに表示する。よって、表示パネル２０２ａ上には、現実のバルブと、バルブを回す指示である「回して閉めろ」という指示と、回す方向を示す矢印の画像とが、重ね合わせられて表示される。さらに、指示部１５０は、音声による指示を出力することを示す信号を携帯型デバイス２００に送信してもよい。この場合、携帯型デバイス２００のプロセッサ２０５は、バルブを閉める指示を示す音声をスピーカ２０２ｂから出力する。
【００６２】
さらに、指示部１５０は、構内における作業者５０の位置を、制御管理室の監視員が確認することができるように、出力装置１０３のディスプレイに図４Ａ、図８に示すような画面を表示する。図４Ａでは、プラントの構内の地図上において、携帯型デバイス２００を携帯する作業者すべてについての位置が表示されている。図８では、破線で表された移動中の作業者５０と、移動経路を示す矢印とが表示されている。よって、監視員は、移動の指示を受けた作業者５０の動きを確認することができる。指示部１５０の機能は、無線通信回路１０４とプロセッサ１０５によって実現される。
【００６３】
図９を参照しながら、上記構成を備えた情報処理装置１００が、携帯型デバイス２００と連携して、作業者５０に指示を出す点検作業処理を説明する。
【００６４】
図４Ａに示すように作業者５０は、携帯型デバイス２００が取り付けられたヘルメット１０を着用した状態で、プラントの構内にいるものと仮定する。作業者５０は、打音検査用のハンマーを携帯している。ここで、情報処理装置１００は、診断対象の点検を作業者５０に指示するものとする。なお、学習部１３０は、ニューラルネットワークの学習を完了しており、記憶部１１０には、学習済みの学習モデルが格納されているものとする。
【００６５】
また、前述のように、携帯型デバイス２００のカメラ２０３ａとマイク２０３ｂとガス検知センサ２０３ｃとは、それぞれ決められたタイミングで点検データを取得する。携帯型デバイス２００のプロセッサ２０５は、点検データを情報処理装置１００に送信する。さらに、ＧＰＳ受信機２０３ｄも決められたタイミングで位置データを取得する。プロセッサ２０５は、位置データを情報処理装置１００に送信する。
【００６６】
指示部１５０は、作業者５０への診断対象の位置３０への移動の指示を携帯型デバイス２００に送信する（ステップＳ１１）。具体的には、指示部１５０は、プラントの地図データと、作業者５０の現在位置を示す座標値及び診断対象の位置３０を示す座標値と、移動指示とを含む信号を携帯型デバイス２００に送信する。これに応答して、携帯型デバイス２００は、図４Ａに示すようなプラントの構内の地図の画像と、当該位置への移動の指示とを表示パネル２０２ａに表示する。さらに、携帯型デバイス２００のプロセッサ２０５は、位置３０に移動することを指示する音声をスピーカ２０２ｂから出力する。作業者５０は指示に従って、指定された位置３０に移動したものとする。
【００６７】
指示部１５０は、携帯型デバイス２００から受信する位置データと、点検マニュアル１１１に含まれるプラントの構内の地図データとから、作業者５０が指定した位置３０に到着したか否か判別する（ステップＳ１２）。作業者５０が指定した位置３０に到着したと判別すると（ステップＳ１２；Ｙｅｓ）、指示部１５０は、携帯型デバイス２００から診断対象を撮影した画像データを受信したか否かを判別する（ステップＳ１３）。なお、前述のように携帯型デバイス２００のカメラ２０３ａは継続して撮影を行い、携帯型デバイス２００は決められた期間毎に情報処理装置１００に画像データを送信している。指示部１５０は、画像データを受信したと判別すると（ステップＳ１３；Ｙｅｓ）、診断処理のため、受信した画像データを記憶部１１０に格納する。一方、指示部１５０は、携帯型デバイス２００から画像データを受信していないと判別すると（ステップＳ１３；Ｎｏ）、画像データを受信するまで待つ。
【００６８】
指示部１５０は、作業者５０への打音検査の指示を携帯型デバイス２００に送信する（ステップＳ１４）。打音検査の指示として、点検マニュアル１１１に含まれる点検対象を叩く箇所を示す情報を含む信号を携帯型デバイス２００に送信する。携帯型デバイス２００は、指示部１５０から受信した信号に基づいて、図５に示すように叩くべき位置を示す画像を表示パネル２０２ａに表示する。さらに、携帯型デバイス２００は、診断対象を叩くことを指示する音声をスピーカ２０２ｂから出力する。作業者５０は、指示されたように打音検査を実施したものとする。従って、携帯型デバイス２００は、情報処理装置１００に音声データを送信する。
【００６９】
指示部１５０は、携帯型デバイス２００から打音の音声データを受信したか否かを判別する（ステップＳ１５）。ここで、指示部１５０は、受信した打音の大きさが、基準データ１１３に含まれる打音検査の音の適正な大きさを示す基準値以上であるか否かを判別する。
【００７０】
携帯型デバイス２００から受信した打音の大きさが基準値未満である場合、指示部１５０は、適正な大きさの打音の音声データを受信していないと判別する（ステップＳ１５；Ｎｏ）。この場合、指示部１５０は、打音検査についての指示を再度出す（ステップＳ１４）。具体的には、指示部１５０は、診断対象をさらに強く叩く指示を携帯型デバイス２００に送信する。これに応答して、携帯型デバイス２００は、図６に示すように、さらに強く叩くよう指示するメッセージを表示パネル２０２ａに表示する。さらに、携帯型デバイス２００は、さらに強く叩くことを指示する音声をスピーカ２０２ｂから出力する。作業者５０は、指示されたように診断対象をさらに強く叩いたものとする。
【００７１】
指示部１５０は、携帯型デバイス２００から十分な大きさの打音の音声データを受信したと判別すると（ステップＳ１５；Ｙｅｓ）、音声データを記憶部１１０に格納する。続いて、指示部１５０は、ガス濃度を測定する指示を携帯型デバイス２００に送信する（ステップＳ１６）。これに応答して、携帯型デバイス２００は、ガス濃度の測定を指示するメッセージを表示パネル２０２ａに表示する。さらに、携帯型デバイス２００は、ガス濃度を測定することを指示する音声をスピーカ２０２ｂから出力する。作業者５０が、指示されたようにガス検知センサ２０３ｃを使用してガス濃度を測定したものとする。従って、携帯型デバイス２００は、情報処理装置１００に計測値のデータを送信する。
【００７２】
指示部１５０は、携帯型デバイス２００からガス濃度の計測値のデータを受信したか否かを判別する（ステップＳ１７）。指示部１５０は、例えば、決められた時間待機した後に、携帯型デバイス２００からガス濃度の計測値のデータを受信したと判別すると（ステップＳ１７；Ｙｅｓ）、測定値のデータを記憶部１１０に格納する。一方、指示部１５０は、例えば、決められた時間待機した後に、携帯型デバイス２００からガス濃度の計測値のデータを受信していないと判別すると（ステップＳ１７；Ｎｏ）、再びステップＳ１６の処理を実行する。
【００７３】
続いて、診断部１４０は、点検データ受付部１２０が受け付けた点検データから、診断対象の損傷の有無を診断する（ステップＳ１８）。
【００７４】
具体的には、診断部１４０は以下のように診断処理を行う。診断部１４０は、点検データ受付部１２０が受け付けた画像データを学習部１３０による学習済みの画像解析用の学習モデルを採用したニューラルネットワークに入力して、診断対象が損傷しているか否かを診断する。続いて、診断部１４０は、点検データ受付部１２０が受け付けた音声データを学習部１３０による学習済みの音声解析用の学習モデルを採用したニューラルネットワークに入力して、診断対象が損傷しているか否かを診断する。さらに、診断部１４０は、点検データ受付部１２０が受け付けたガス濃度の測定値が、基準データ１１３の閾値を超えたか否かに基づいて、ガス漏れが発生しているかを判別する。ガス漏れが発生していると判別した場合、診断部１４０は、診断対象が損傷していると診断する。さらに、診断部１４０は、診断結果を記憶部１１０の履歴データ１１２に記録する。
【００７５】
指示部１５０は、作業者５０に診断結果と作業指示とを提示する（ステップＳ１９）。ここでは、指示部１５０は、画像データに基づく診断結果、音声データに基づく診断結果、ガス濃度の測定値に基づく診断結果のうち、少なくとも１つの診断結果が、診断対象に損傷があることを示す場合、診断対象が損傷している旨を作業者５０に提示する。指示部１５０は、診断結果とともに、処置テーブル１１６に基づく対処方法を示す情報を携帯型デバイス２００に送信する。
【００７６】
例えば、診断対象がパイプであり、ガス濃度の測定値に基づく診断結果が、診断対象が損傷を有していることを示したとする。この場合、指示部１５０は、診断対象のパイプのバルブを閉める指示を携帯型デバイス２００に送信する。従って、携帯型デバイス２００は、情報処理装置１００から受信した診断結果及び対処方法を表示パネル２０２ａに表示する。
【００７７】
なお、ステップＳ１７において診断部１４０が診断対象に損傷が生じていないと診断した場合、指示部１５０はステップＳ１８において、作業者５０に作業指示を提示しなくてもよい。
【００７８】
その後、指示部１５０は、再びステップＳ１１を実行し、次の診断対象の位置への移動の指示を携帯型デバイス２００に送信する。以上が、情報処理装置１００が行う点検作業処理である。
【００７９】
以上説明したように、実施の形態における情報処理システム１においては、点検についての適切な手順を作業者５０に提示し、点検データから診断対象について診断を行い、作業者５０に行うべき作業を指示する。このため、経験が浅い作業者５０であっても、適切な手順で検査を行うことができる。さらに、情報処理装置１００が点検データから診断を行い、診断結果に基づいて対処方法を作業者５０に提示するため、経験が浅い作業者５０であっても、適切な処置を行うことができる。
【００８０】
また、情報処理装置１００の指示に従って、打音検査の経験を積むことで、経験が浅い作業者であっても、叩く位置、叩く強さ等について修得することが可能である。さらに、制御管理室の監視員は、従来のように、経験が浅い作業者５０に電話で作業の方法を説明する必要がない。
【００８１】
（変形例１）
実施の形態においては、診断部１４０は、診断対象の損傷の有り／無しを診断したが、これに限られない。例えば、予め、損傷の度合いを示すレベルを定義しておき、診断部１４０は、診断対象の損傷の有無に加えて、損傷がある場合に、損傷のレベル及び／又は損傷の原因といった他の事項を診断してもよい。
【００８２】
この場合、学習部１３０は、ニューラルネットワークの出力層のニューロンの数を判別する事象の数に合わせて配置する。例えば、損傷無し、損傷有りレベル１、損傷有りレベル２、…、損傷有りレベルｎを判別する場合には、出力層のニューロンを（ｎ＋１）個配置する。例えば、損傷無し、損傷有り原因１、損傷有り原因２、…、損傷有り原因ｍを判別する場合には、出力層のニューロンを（ｍ＋１）個配置する。学習データとしては、点検データと、点検対象の損傷の有無と損傷の度合及び／又は原因を示す出力層のニューロンの番号とがセットにされたデータを複数組用意する。学習部１３０は、各学習データの点検データをニューラルネットワークに供給し、対応する番号が示す出力層のニューロンが発火するように、中間層と出力層の各ニューロンの重み係数をバックプロパゲーション法などを用いて調整する。即ち、学習部１３０は、学習データをニューラルネットワークに学習させる。診断部１４０は学習済みのニューラルネットワークに、携帯型デバイス２００から受信した点検データを入力して、その出力から診断対象の損傷の度合い及び又は／原因を診断する。なお、損傷がある場合でも、損傷の程度・原因が軽い場合には、継続的な監視は必要となるが、保守作業を急いで行う必要がない場合もある。
【００８３】
指示部１５０は、例えば、損傷の度合いに応じて、図１０に示すような処置テーブル１１６ａに基づき、携帯型デバイス２００に作業の指示を出すようにしてもよい。なお、図１０に示す例では、レベルの値が大きいほど、大きな損傷が生じていることを示す。
【００８４】
（変形例２）
実施の形態においては、情報処理装置１００は、処置の内容のデータが予め格納された処置テーブル１１６を有している例を説明したが、これに限られない。学習部１３０が、診断結果に応じた処置の内容を学習し、診断部１４０は、診断対象の損傷の有無を診断するとともに、処置の内容を判別してもよい。診断部１４０の診断対象の損傷の有無の診断方法は前述した通りである。
【００８５】
例えば、処置１、処置２、…、処置ｐを判別するとする。この場合、学習データとして、診断結果のデータと、処置の内容を示す出力層のニューロンの番号とがセットにされたデータを複数組用意する。学習部１３０は、各学習データの診断結果のデータをニューラルネットワークに供給し、バックプロパゲーション法等により、各ニューロンの重み係数を調整する。学習データとして、例えば、過去の点検作業において、熟練した作業者が判断した診断結果と処置の内容に関するデータを使用する事ができる。診断部１４０は、診断対象の損傷の有無を診断した後、診断結果を学習済みのニューラルネットワークに入力して、その出力から処置の内容を判別する。
【００８６】
実施の形態においては、情報処理装置１００は、打音検査、バルブを閉めること等の指示を作業者５０に出したが、作業者５０に対する指示はこれらには限られない。例えば、情報処理装置１００は、計器の位置を作業者５０に提示し、作業者５０に計器の位置に移動するよう指示を出す。情報処理装置１００は、移動した作業者５０に、計器が示す値をカメラ２０３ａで撮影させ、計器の値に応じた適宜の作業を作業者５０に出してもよい。
【００８７】
実施の形態においては、情報処理装置１００が、携帯型デバイス２００に移動指示を送信し、作業者５０が移動した先において打音検査、診断対象の撮影を行ったが、これに限られない。例えば、作業者５０が構内を巡回しているものとし、情報処理装置１００は、携帯型デバイス２００から受信した位置データから、作業者５０が診断対象の近くにいると判別したときに、携帯型デバイス２００に打音検査、診断対象の撮影の指示を送信するようにしてもよい。
【００８８】
また、情報処理装置１００は、履歴データ１１２に記録された点検の履歴から、診断対象についての点検が、過去一定期間内に実施されている場合には、その診断対象の点検を作業者５０に指示しないようにしてもよい。
【００８９】
情報処理装置１００は、作業者５０が、診断対象の位置に到着したときに、履歴データ１１２に記録された点検の履歴と、過去の診断結果とを、携帯型デバイス２００に送信してもよい。従って、携帯型デバイス２００は、情報処理装置１００から受信した点検の履歴と、過去の診断結果とを、表示パネル２０２ａに表示する。
【００９０】
上記の実施の形態においては、携帯型デバイス２００が、カメラ２０３ａ、マイク２０３ｂ、ガス検知センサ２０３ｃ、ＧＰＳ受信機２０３ｄを有する例を説明したが、携帯型デバイス２００は、これらの全てを有していなくてもよい。例えば、作業者の一部は、カメラ２０３ａを有していない携帯型デバイス２００を携帯し、打音検査のみを行ってもよい。残りの作業者は、マイク２０３ｂを有していない携帯型デバイス２００を携帯し、診断対象の撮影のみを行ってもよい。また、携帯型デバイス２００は、他のセンサ、例えば、温度センサ、湿度センサ、圧力センサを有していてもよい。
【００９１】
実施の形態においては、情報処理装置１００のプロセッサ１０５が演算を行うことで、ニューラルネットワークを実現する例を説明したが、ニューラルネットワークはソフトウェアにより実現されなくてもよい。例えば、ニューロンをＬＳＩチップにより構成したニューロチップを使用し、ニューラルネットワークをハードウェアにより実現してもよい。あるいは、ＳＱＵＩＤ（Superconducting Quantum Interference Device：超伝導量子干渉デバイス）によるアナログ回路を用いたニューラルネットワーク、光を用いた光ニューラルネットワーク等を使用することも可能である。
【００９２】
上記のプログラムを記録する記録媒体としては、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ、半導体メモリ、磁気テープを含むコンピュータ読取可能な記録媒体を使用することができる。
【００９３】
本発明は、広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【符号の説明】
【００９４】
１  情報処理システム、１０  ヘルメット、２０  本体部、３０  位置、５０  作業者、１００  情報処理装置、１０１，２０１  メモリ、１０２  入力装置、１０３，２０２  出力装置、１０４，２０４  無線通信回路、１０４ａ，２０４ａ  アンテナ、１０５，２０５  プロセッサ、１０９，２０９  バス、１１０  記憶部、１１１  点検マニュアル、１１２  履歴データ、１１３  基準データ、１１４  学習モデル、１１５  学習データ、１１６  処置テーブル、１２０  点検データ受付部、１３０  学習部、１４０  診断部、１５０  指示部、２００  携帯型デバイス、２０２  出力装置、２０２ａ  表示パネル、２０２ｂ  スピーカ、２０３  収集装置、２０３ａ  カメラ、２０３ｂ  マイク、２０３ｃ  ガス検知センサ、２０３ｄ  ＧＰＳ受信機、２０３ｅ  ケーブル、１０００，２０００  プログラム、１００１，１００２  パイプ
【図１】
2020021589.tif 000003
【図２】
2020021589.tif 000004
【図３Ａ】
2020021589.tif 000005
【図３Ｂ】
2020021589.tif 000006
【図４Ａ】
2020021589.tif 000007
【図４Ｂ】
2020021589.tif 000008
【図５】
2020021589.tif 000009
【図６】
2020021589.tif 000010
【図７】
2020021589.tif 000011
【図８】
2020021589.tif 000012
【図９】
2020021589.tif 000013
【図１０】
2020021589.tif 000014
【手続補正書】
【提出日】平成31年2月15日(2019.2.15)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明に係る情報処理装置において、点検データ受付手段は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習手段は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断手段は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示手段は、作業者が診断対象に対して行うべき点検作業の方法を示す指示と、診断手段が診断対象について診断した診断結果に応じて作業者が取るべき処置の内容を示す指示とを携帯型デバイスに送信する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、前記携帯型デバイスから受け付ける点検データ受付手段と、
ニューラルネットワークに過去に収集した点検データを入力し、前記診断対象の損傷の有無の診断について学習させる学習手段と、
前記点検データ受付手段が受け付けた前記点検データを前記ニューラルネットワークに入力し、前記ニューラルネットワークの出力から前記診断対象の損傷の有無を診断する診断手段と、
作業者が診断対象に対して行うべき点検作業の方法を示す指示と、前記診断手段が前記診断対象について診断した診断結果に応じて作業者が取るべき処置の内容を示す指示とを前記携帯型デバイスに送信する指示手段と、
を備える情報処理装置。
【請求項２】
前記点検データは、作業者による打音検査により発生した打音の音声データを含み、
前記指示手段は、前記携帯型デバイスから取得した前記打音の音声データから、作業者が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、前記携帯型デバイスを介して作業者に指示を通知する、
請求項１に記載の情報処理装置。
【請求項３】
前記点検データは、前記携帯型デバイスが前記診断対象を撮影した画像データを含み、
前記診断手段は、前記点検データ受付手段が受け付けた前記画像データと前記打音の音声データとから、前記診断対象の損傷の有無を診断する、
請求項２に記載の情報処理装置。
【請求項４】
前記指示手段は、作業者が前記診断対象を叩く位置を示す情報を前記携帯型デバイスに供給し、前記携帯型デバイスの表示装置に前記診断対象を叩く位置を表示させる、
請求項２又は３に記載の情報処理装置。
【請求項５】
診断結果に対応づけられた診断対象に対する処置の内容を示す情報を格納する処置情報記憶手段をさらに備え、
前記指示手段は、前記診断手段による前記診断対象の診断結果と一致する前記処置情報記憶手段の診断結果に対応づけられた処置を行う指示を前記携帯型デバイスに送信する、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記指示手段は、前記診断対象までの経路を示す情報を前記携帯型デバイスに供給し、前記携帯型デバイスの表示装置に前記診断対象までの前記経路を表示させる、
請求項１から５のいずれか１項に記載の情報処理装置。
【請求項７】
前記指示手段は、前記携帯型デバイスから受信した作業者の現在位置を示す情報から、作業者が前記診断対象の傍に到達したと判別した場合に、点検作業を示す指示を、前記携帯型デバイスに送信する、
請求項６に記載の情報処理装置。
【請求項８】
携帯型デバイスと、前記携帯型デバイスと相互に通信可能な情報処理装置と、を有する情報処理システムであって、
前記携帯型デバイスは、
診断対象に対する点検作業において収集した点検データを前記情報処理装置に送信する手段、
を備え、
前記情報処理装置は、
前記点検データを前記携帯型デバイスから受け付ける点検データ受付手段と、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断する診断手段と、
作業者が診断対象に対して行うべき点検作業の方法を示す指示と、前記診断手段の診断結果に応じて作業者が取るべき処置の内容を示す指示とを前記携帯型デバイスに送信する指示手段と、
を備える、
情報処理システム。
【請求項９】
携帯型デバイスと相互に通信可能なコンピュータが行う方法であって、
診断対象に対する点検作業において前記携帯型デバイスによって収集された点検データを前記携帯型デバイスから受け付けるステップと、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断するステップと、
作業者が診断対象に対して行うべき点検作業の方法を示す指示を前記携帯型デバイスに送信するステップと、
前記診断するステップにおいて診断された前記診断対象についての診断結果に応じて作業者が取るべき処置の内容を示す指示を前記携帯型デバイスに送信するステップと、
を含む方法。
【請求項１０】
コンピュータが、
作業者が診断対象に対して行うべき点検作業の方法を示す指示を携帯型デバイスに送信し、
診断対象に対する点検作業において前記携帯型デバイスによって収集された点検データを前記携帯型デバイスから受信し、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断し、
診断結果に応じて作業者が取るべき処置の内容を示す指示を前記携帯型デバイスに送信する、
ようにさせるプログラム。
【手続補正書】
【提出日】令和1年6月21日(2019.6.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明に係る情報処理装置において、点検データ受付手段は、診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、携帯型デバイスから受け付ける。学習手段は、ニューラルネットワークに過去に収集した点検データを入力し、診断対象の損傷の有無の診断について学習させる。診断手段は、点検データ受付手段が受け付けた点検データをニューラルネットワークに入力し、ニューラルネットワークの出力から診断対象の損傷の有無を診断する。指示手段は、作業者が診断対象に対して行うべき点検作業の方法を示す指示と、診断手段が診断対象について診断した診断結果に応じて作業者が取るべき処置の内容を示す指示とを携帯型デバイスに送信する。点検データは、作業者による打音検査により発生した打音の音声データを含む。指示手段は、携帯型デバイスから取得した打音の音声データから、作業者が診断対象を叩く強さが適切であるか否かを判別し、作業者が診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を携帯型デバイスに供給し、携帯型デバイスを介して作業者に指示を通知する。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
診断対象に対する点検作業において携帯型デバイスによって収集された点検データを、
前記携帯型デバイスから受け付ける点検データ受付手段と、
ニューラルネットワークに過去に収集した点検データを入力し、前記診断対象の損傷の
有無の診断について学習させる学習手段と、
前記点検データ受付手段が受け付けた前記点検データを前記ニューラルネットワークに
入力し、前記ニューラルネットワークの出力から前記診断対象の損傷の有無を診断する診
断手段と、
作業者が診断対象に対して行うべき点検作業の方法を示す指示と、前記診断手段が前記
診断対象について診断した診断結果に応じて作業者が取るべき処置の内容を示す指示とを前記携帯型デバイスに送信する指示手段とを備え、
前記点検データは、作業者による打音検査により発生した打音の音声データを含み、
前記指示手段は、前記携帯型デバイスから取得した前記打音の音声データから、作業者
が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強
さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、
前記携帯型デバイスを介して作業者に指示を通知する情報処理装置。
【請求項２】
前記点検データは、前記携帯型デバイスが前記診断対象を撮影した画像データを含み、
前記診断手段は、前記点検データ受付手段が受け付けた前記画像データと前記打音の音
声データとから、前記診断対象の損傷の有無を診断する、
請求項１に記載の情報処理装置。
【請求項３】
前記指示手段は、作業者が前記診断対象を叩く位置を示す情報を前記携帯型デバイスに
供給し、前記携帯型デバイスの表示装置に前記診断対象を叩く箇所を表示させる、
請求項１又は２に記載の情報処理装置。
【請求項４】
診断結果に対応づけられた診断対象に対する処置の内容を示す情報を格納する処置情報
記憶手段をさらに備え、
前記指示手段は、前記診断手段による前記診断対象の診断結果と一致する前記処置情報
記憶手段の診断結果に対応づけられた処置を行う指示を前記携帯型デバイスに送信する、
請求項１から３のいずれか１項に記載の情報処理装置。
【請求項５】
前記指示手段は、前記診断対象までの経路を示す情報を前記携帯型デバイスに供給し、
前記携帯型デバイスの表示装置に前記診断対象までの前記経路を表示させる、
請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記指示手段は、前記携帯型デバイスから受信した作業者の現在位置を示す情報から、
作業者が前記診断対象の傍に到達したと判別した場合に、点検作業を示す指示を、前記携
帯型デバイスに送信する、
請求項５に記載の情報処理装置。
【請求項７】
携帯型デバイスと、前記携帯型デバイスと相互に通信可能な情報処理装置と、を有する
情報処理システムであって、
前記携帯型デバイスは、
診断対象に対する点検作業において収集した点検データを前記情報処理装置に送信する
手段、
を備え、
前記情報処理装置は、
前記点検データを前記携帯型デバイスから受け付ける点検データ受付手段と、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出
力から診断対象の損傷の有無を診断する診断手段と、
作業者が診断対象に対して行うべき点検作業の方法を示す指示と、前記診断手段の診断
結果に応じて作業者が取るべき処置の内容を示す指示とを前記携帯型デバイスに送信する
指示手段とを備え、
前記点検データは、作業者による打音検査により発生した打音の音声データを含み、
前記指示手段は、前記携帯型デバイスから取得した前記打音の音声データから、作業者
が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強
さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、
前記携帯型デバイスを介して作業者に指示を通知する情報処理システム。
【請求項８】
携帯型デバイスと相互に通信可能なコンピュータが行う方法であって、
診断対象に対する点検作業において前記携帯型デバイスによって収集された、作業者による打音検査により発生した打音の音声データを含む点検データを前記携帯型デバイスから受け付けるステップと、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出力から診断対象の損傷の有無を診断するステップと、
作業者が診断対象に対して行うべき点検作業の方法を示す指示を前記携帯型デバイスに送信するステップと、
前記携帯型デバイスから取得した前記打音の音声データから、作業者が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、前記携帯型デバイスを介して作業者に指示を通知するステップと、
前記診断するステップにおいて診断された前記診断対象についての診断結果に応じて作
業者が取るべき処置の内容を示す指示を前記携帯型デバイスに送信するステップと、
を含む方法。
【請求項９】
コンピュータが、
作業者が診断対象に対して行うべき点検作業の方法を示す指示を携帯型デバイスに送信
し、
診断対象に対する点検作業において前記携帯型デバイスによって収集された、作業者による打音検査により発生した打音の音声データを含む点検データを前記携帯型デバイスから受信し、
前記点検データをニューラルネットワークに入力し、前記ニューラルネットワークの出
力から診断対象の損傷の有無を診断し、
診断結果に応じて作業者が取るべき処置の内容を示す指示を前記携帯型デバイスに送信
するようにさせるプログラムであって、
前記コンピュータが、前記携帯型デバイスから取得した前記打音の音声データから、作業者が前記診断対象を叩く強さが適切であるか否かを判別し、作業者が前記診断対象を叩く強さが適切でないと判別した場合、叩く強さを変える指示を前記携帯型デバイスに供給し、前記携帯型デバイスを介して作業者に指示を通知する、
ようにさせるプログラム。
【国際調査報告】
2020021589.tif 000015
2020021589.tif 000016
2020021589.tif 000017
2020021589.tif 000018