(57)【要約】【課題】機器等の操作が正しく行われたか否かを、自動的かつ正確に確認すること。【解決手段】判定装置１０は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。また、判定装置１０は、カメラの姿勢を特定し、当該特定した姿勢に基づいて領域の画像の正対補正を行う。また、判定装置１０は、補正された領域の画像と正解画像とを比較し、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。例えば、判定装置１０は、オブジェクトの外見が、操作が正常に行われた場合のものと合致するか否かを判定する。【選択図】図２
2020057298.tif 000002
【特許請求の範囲】
【請求項１】
撮像された画像内のマーカを基準に、前記撮像された画像内のあらかじめ定められた領域を特定する特定部と、
前記領域の画像の正対補正を行う補正部と、
前記補正部によって補正された前記領域の画像を基に、前記領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する判定部と、
を有することを特徴とする判定装置。
【請求項２】
前記特定部は、前記撮像された画像の撮像時のカメラの姿勢をさらに特定し、
前記補正部は、前記姿勢を基に前記領域の画像の正対補正を行うことを特徴とする請求項１に記載の判定装置。
【請求項３】
前記判定部は、前記補正部によって補正された前記領域の画像と、あらかじめ用意された正解画像との合致度が所定値以上であるか否かに基づいて、前記外見があらかじめ定められた状態であるか否かを判定することを特徴とする請求項１又は２に記載の判定装置。
【請求項４】
前記特定部は、機器の操作に関する複数のステップのうち、実行中のステップにあらかじめ対応付けられた領域であって、前記操作により外見が変化するオブジェクトを含む領域を特定することを特徴とする請求項１から３のいずれか１項に記載の判定装置。
【請求項５】
前記判定部による前記オブジェクトの外見に対する判定結果を、前記オブジェクトの画像とともに表示する表示部をさらに有することを特徴とする請求項１から４のいずれか１項に記載の判定装置。
【請求項６】
前記表示部は、前記判定部による前記領域の画像内のオブジェクトの外見に対する判定結果を、前記撮像された画像の前記領域に重畳させて表示することを特徴とする請求項５に記載の判定装置。
【請求項７】
前記表示部は、機器の操作に関する複数のステップのうちの第１のステップに関する情報をＡＲにより表示し、前記判定部によって、前記第１のステップにあらかじめ対応付けられた領域のオブジェクトの外見があらかじめ定められた状態であると判定された場合、前記第１のステップの次のステップである第２のステップに関する情報をＡＲにより表示することを特徴とする請求項５又は６に記載の判定装置。
【請求項８】
コンピュータによって実行される判定方法であって、
撮像された画像内のマーカを基準に、前記撮像された画像内のあらかじめ定められた領域を特定する特定工程と、
前記領域の画像の正対補正を行う補正工程と、
前記補正工程によって補正された前記領域の画像を基に、前記領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する判定工程と、
を含むことを特徴とする判定方法。
【請求項９】
コンピュータを、
撮像された画像内のマーカを基準に、前記撮像された画像内のあらかじめ定められた領域を特定する特定手段と、
前記領域の画像の正対補正を行う補正手段と、
前記補正手段によって補正された前記領域の画像を基に、前記領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する判定手段と、
として機能させることを特徴とする判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、判定装置、判定方法及び判定プログラムに関する。
【背景技術】
【０００２】
従来、作業の成果物の画像を基に、当該作業が正しく行われたか否かを確認する技術が知られている。例えば、作業者が作業を行った設備等の画像を基に、データベースに記憶された当該設備等の情報を特定し、当該画像及び特定した情報を基に、作業が適切に行われたか否かを判断する手法が知られている（例えば、特許文献１を参照）。また、検査対象物の画像を外部装置に送信し、検査者が当該画像を基に判断した検査の合否を外部装置から受信し、表示する手法が知られている（例えば、特許文献２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２８２３４９号公報
【特許文献２】国際公開第２０１７／０３３５７１号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術には、機器等の操作が正しく行われたか否かを、自動的かつ正確に確認することが困難な場合があるという問題がある。例えば、特許文献１に記載の手法では、設備等の画像が傾いていたり歪んでいたりする場合、データベースの情報を正確に特定できないことが考えられる。また、例えば、特許文献２の手法では、検査の合否の判断が自動化されていない。
【課題を解決するための手段】
【０００５】
実施形態の判定装置は、特定部と、補正部と、判定部とを有する。特定部は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。補正部は、領域の画像の正対補正を行う。判定部は、補正部によって補正された領域の画像を基に、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。
【図面の簡単な説明】
【０００６】
【図１】図１は、第１の実施形態に係るＡＲマニュアルについて説明するための図である。
【図２】図２は、第１の実施形態に係る判定装置の構成の一例を示す図である。
【図３】図３は、第１の実施形態に係る正対補正について説明するための図である。
【図４】図４は、第１の実施形態に係る判定について説明するための図である。
【図５】図５は、第１の実施形態に係る判定結果の表示方法の一例を示す図である。
【図６】図６は、第１の実施形態に係るＡＲマニュアルの作成画面の一例を示す図である。
【図７】図７は、第１の実施形態に係る判定装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００７】
以下に、本願に係る判定装置、判定方法及び判定プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
【０００８】
（第１の実施形態）
第１の実施形態では、判定装置はＡＲ（Augmented  Reality）マニュアルを実行するものとする。ここで、ＡＲマニュアルは、ＡＲコンテンツとして提供される機器等のマニュアルである。例えば、ＡＲマニュアルは、操作対象の機器等の画像に、操作方法が記載されたアノテーションを重畳表示させる。また、ＡＲマニュアルには、マーカＡＲが用いられてもよいし、マーカレスＡＲが用いられてもよい。本実施形態のＡＲマニュアルは、機器等の操作が正しく完了したか否かを判定し、判定結果を表示することができる。
【０００９】
図１は、第１の実施形態に係るＡＲマニュアルについて説明するための図である。ＡＲマニュアルは、判定装置１０によって提供される。例えば、判定装置１０は、カメラを備えたタブレット端末及びスマートフォン等である。
【００１０】
図１に示すように、ユーザは、判定装置１０を手に持ち、機器の方向に向ける。このとき、判定装置１０は、カメラ等を使って機器の画像を撮像する。そして、判定装置１０は、撮像した画像に所定の情報を重畳させて表示する。なお、判定装置１０は、領域１２ａに撮像した画像を表示する。
【００１１】
ここで、ＡＲマニュアルにおいて重畳表示される情報は、作業の進行状況に応じて設定されている。例えば、判定装置１０は、作業開始時には、操作対象のオブジェクトが映っている画像内の領域に、操作方法を示すアノテーションや、操作対象であることを示すアイコンを表示する。ここで、オブジェクトとは、レバー、スイッチ及びダイヤル等の操作対象の機器そのものや、メータやランプ等の機器の操作に応じて外見が変化する装置等である。
【００１２】
例えば、オブジェクトがアナログメータである場合、操作の前後で針の位置が変化する。また、オブジェクトがランプである場合、操作後に点灯又は消灯する。また、オブジェクトがレバーである場合、操作前後で操作部の位置が変化する。
【００１３】
また、図１に示すように、判定装置１０は、作業完了時には、操作結果を示すオブジェクトの画像とともに、操作が正常に完了したか否かを示す情報を領域１２ｂに表示する。例えば、判定装置１０は、図１の領域１２１ｂに、領域１２１ａに映っているメータの画像とともに、当該メータに関する操作が正常に行われなかったことを示す文字列「ＮＧ」を表示する。
【００１４】
同様に、判定装置１０は、領域１２２ｂ、領域１２３ｂ、領域１２４ｂ、及び領域１２５ｂに、それぞれ領域１２２ａ、領域１２３ａ、領域１２４ａ、及び領域１２５ａに映っているオブジェクトの画像とともに、各オブジェクトに関する操作が正常に行われたか否かを示す文字列を表示する。なお、文字列「ＯＫ」は、オブジェクトに関する操作が正常に行われたことを示す。
【００１５】
（第１の実施形態の判定装置の構成）
図２を用いて、判定装置１０の構成について説明する。図２は、第１の実施形態に係る判定装置の構成の一例を示す図である。図２に示すように、判定装置１０は、入力部１１、表示部１２、撮像部１３、記憶部１４及び制御部１５を有する。
【００１６】
入力部１１は、ユーザからのデータの入力を受け付ける。また、表示部１２は、画面の表示を行う。例えば、入力部１１及び表示部１２は、タッチパネルディスプレイである。撮像部１３は、画像を撮像する。例えば、撮像部１３はカメラである。
【００１７】
記憶部１４は、ＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）、光ディスク、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non  Volatile  Static  Random  Access  Memory）等の記憶装置である。記憶部１４は、判定装置１０で実行されるＯＳ（Operating  System）やプログラムを記憶する。さらに、記憶部１４は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部１４は、ＡＲ情報１４１及び判定情報１４２を記憶する。
【００１８】
ＡＲ情報１４１は、ＡＲマニュアルを実行するための情報である。ＡＲ情報１４１には、マーカ１２０の画像、マーカ１２０と各オブジェクトの領域の相対的な位置関係等が含まれる。例えば、ＡＲ情報１４１には、各オブジェクトの矩形領域の各頂点を表す空間座標が含まれる。
【００１９】
また、例えば、ＡＲ情報１４１には、ＡＲマニュアルにアイコンとして表示される２Ｄの画像、及び３ＤＣＡＤ（Computer  Aided  Design）データ等が含まれる。また、ＡＲ情報１４１には、アノテーションとして表示するメッセージや静止画及び動画等のコンテンツが含まれていてもよい。
【００２０】
判定情報１４２は、各オブジェクトの外見が、あらかじめ定められた状態であるか否かを判定するための情報である。例えば、判定情報１４２は、正解画像としてあらかじめ用意された画像であって、操作が正常に行われた直後のオブジェクトの画像である。また、判定情報１４２は、正解画像の所定の特徴量であってもよい。
【００２１】
制御部１５は、判定装置１０を制御する。制御部１５は、ＣＰＵ（Central  Processing  Unit）、ＭＰＵ（Micro  Processing  Unit）、ＡＳＩＣ（Application  Specific  Integrated  Circuit）、ＦＰＧＡ（Field  Programmable  Gate  Array）等である。例えば、制御部１５は、特定部１５１、補正部１５２、判定部１５３及び表示制御部１５４として機能する。
【００２２】
特定部１５１は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。特定部１５１は、撮像部１３によって撮像された画像内の、ＡＲ情報１４１から取得したマーカ１２０の画像と合致する領域を特定する。さらに、特定部１５１は、特定した領域におけるマーカ１２０の大きさ及び傾き等を基に、撮像された画像の撮像時の撮像部１３、すなわちカメラの姿勢を特定する。
【００２３】
補正部１５２は、領域の画像の正対補正を行う。このとき、補正部１５２は、特定部１５１によって特定されたカメラの姿勢を基に領域の画像の正対補正を行う。図３は、第１の実施形態に係る正対補正について説明するための図である。図３は、補正部１５２が、領域１２１ａの画像を正対補正する場合の例である。正対補正とは、撮像された対象領域の画像を正対画像に変換する処理である。また、正対画像とは、正面として定められた平面と撮像面とを正対させて撮像を行ったと仮定した場合の、対象領域の画像である。
【００２４】
例えば、領域１２１ａのメータを含む各オブジェクト及びマーカ１２０は、いずれも地面に対して垂直な平面の盤上に備えられているものとする。補正部１５２は、特定部１５１によって特定されたカメラの姿勢から、当該盤と各領域の画像の撮像面との間の各軸の角度を計算する。そして、補正部１５２は、計算した角度を基に画像の正対補正を行う。例えば、補正部１５２は、アフィン変換により各領域の各頂点の座標を変換することで画像を写像し正対補正を行う。
【００２５】
判定部１５３は、補正部１５２によって補正された領域の画像を基に、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。例えば、判定部１５３は、補正部１５２によって補正された領域の画像と、あらかじめ判定情報１４２として用意された正解画像との合致度が所定値以上であるか否かに基づいて、外見があらかじめ定められた状態であるか否かを判定する。なお、合致度の計算は、既知の画像認識処理の手法によって行われるものであってよい。
【００２６】
正解画像は、操作が正常に行われた直後のオブジェクトの画像であって、各オブジェクト及びマーカ１２０が備えられた盤と撮像面とを正対させて撮像した正対画像である。このため、図４に示すように、判定部１５３は、正対画像同士を比較し判定を行うことができる。図４は、第１の実施形態に係る判定について説明するための図である。
【００２７】
なお、図４の例では、正対補正した判定対象の画像と正解画像とでは、メータの針の位置が異なるため、判定部１５３は、メータの状態が正しい状態にないという判定をすることができると考えられる。一方で、画像の正対補正をしていない場合、判定対象の画像と正解画像とでメータの針の位置が偶然一致し、判定部１５３が、メータの状態が正しい状態にあるという誤判定をすることが考えられる。
【００２８】
表示制御部１５４は、表示部１２に、判定部１５３によるオブジェクトの外見に対する判定結果を、オブジェクトの画像とともに表示させる。例えば、図１に示すように、表示制御部１５４は、領域１２ｂに、操作結果を示すオブジェクトの画像とともに判定結果を表示させる。
【００２９】
また、図５に示すように、表示制御部１５４は、判定部１５３による領域の画像内のオブジェクトの外見に対する判定結果を、撮像された画像の領域に重畳させて表示部１２に表示させてもよい。図５は、第１の実施形態に係る判定結果の表示方法の一例を示す図である。図５の例では、表示制御部１５４は、領域１２ａの撮像された画像の各領域に、判定結果を直接重畳表示させる。
【００３０】
ここで、図６を用いて、ＡＲマニュアルの作成方法について説明する。図６は、第１の実施形態に係るＡＲマニュアルの作成画面の一例を示す図である。図６に示すように、ＡＲマニュアルは、生成装置２０によって生成される。生成装置２０は、判定装置１０と同一の装置であってもよいし、異なる装置であってもよい。
【００３１】
図６に示すように、生成装置２０は、ＡＲマニュアルの対象の機器の画像を表示し、マーカ１２０及び各領域の設定を受け付ける。このとき、生成装置２０は、領域ごとに、判定部１５３による判定のタイプの選択を受け付ける。
【００３２】
判定のタイプには、メータ状態判定、スイッチ状態判定、色状態判定、インジケータランプ点灯判定、文字認識等がある。選択された判定のタイプに応じて、判定部１５３は、あらかじめ決められた判定方法により判定を行う。例えば、判定タイプがメータ状態判定の場合、判定部１５３は、前述の通り、正対補正済みの画像と正解画像を比較し判定を行う。一方、判定タイプが文字認識の場合、判定部１５３は、ＯＣＲ（Optical  Character  Recognition）等の機能により判定対象の画像から抽出した文字列が、あらかじめ決められた正解文字列と合致するか否かを判定する。
【００３３】
また、ＡＲマニュアルはステップごとに設定される。図６の例では、「ＳＴＥＰ２」というステップのＡＲマニュアルの設定が行われている。ここで、表示制御部１５４は、各ステップに設定された領域に対する判定部１５３の判定結果が全て正常になるまで、次のステップのＡＲマニュアルを表示しないようにすることができる。また、表示制御部１５４は、各ステップに設定された領域に対する判定部１５３の判定結果が全て正常になった場合、自動的に次のステップのＡＲマニュアルを表示してもよい。
【００３４】
なお、表示制御部１５４は、各ステップに設定された領域に対する判定部１５３の判定結果が全て正常になっていなくても、次のステップのＡＲマニュアルを表示してもよい。例えば、表示制御部１５４は、判定結果にかかわらずユーザの操作に応じて次のステップのＡＲマニュアルを表示してもよい。
【００３５】
つまり、特定部１５１は、機器の操作に関する複数のステップのうち、実行中のステップにあらかじめ対応付けられた領域であって、操作により外見が変化するオブジェクトを含む領域を、判定部１５３による判定対象の領域として特定する。また、判定装置１０は、第１のステップに関する情報をＡＲにより表示し、判定開始の操作を受け付けると、判定対象領域の正対補正及び判定を行い、全ての操作が正常に完了したと判定した場合、第１のステップの次のステップである第２のステップに関する情報をＡＲにより表示する。また、判定装置１０は、第１のステップで全ての操作が正常に完了したと判定しなかった場合、第２のステップに関する情報を表示しない。なお、各ステップに関する情報は、ＡＲで表示されるアノテーション及びアイコン等である。
【００３６】
（第１の実施形態の処理）
図７を用いて、判定装置１０の処理について説明する。図７は、第１の実施形態に係る判定装置の処理の流れを示すフローチャートである。まず、判定装置１０は、判定開始の操作を受け付ける（ステップＳ１０１）。判定開始の操作は、ＡＲマニュアルの表示している表示部１２の特定のアイコンをタップすることであってもよいし、撮像部１３を用いてマーカ１２０を撮像することであってもよい。
【００３７】
ここで、判定装置１０は、撮像された画像内のマーカ１２０の位置及び撮像しているカメラ（撮像部１３）の姿勢を特定する（ステップＳ１０２）。これにより、判定装置１０は、マーカ１２０を基準としたＡＲコンテンツの提供が可能になる。そして、判定装置１０は、マーカ１２０を基に判定対象の領域を特定する（ステップＳ１０３）。
【００３８】
次に、判定装置１０は、カメラの姿勢を基に、特定した領域の正対補正を行う（ステップＳ１０４）。ここで、判定装置１０は、正対補正を行った画像と正解画像とを比較し状態判定を行う（ステップＳ１０５）。そして、判定装置１０は、判定結果を表示する（ステップＳ１０６）。
【００３９】
ここで、判定装置１０は、全ての機器の操作が正しく完了したと判定した場合（ステップＳ１０７、Ｙｅｓ）、次のステップがあるか否かを確認する（ステップＳ１０８）。一方、判定装置１０は、全ての機器の操作が正しく完了したと判定しなかった場合（ステップＳ１０７、Ｎｏ）、ステップＳ１０１に戻り、処理を繰り返す。
【００４０】
さらに、次のステップがある場合（ステップＳ１０８、Ｙｅｓ）、判定装置１０は、次のステップのＡＲマニュアルを表示し、ステップＳ１０１に戻り、当該次のステップの判定開始操作の受け付けを待機する。
【００４１】
（第１の実施形態の効果）
これまで説明してきたように、判定装置１０は、撮像された画像内のマーカを基準に、撮像された画像内のあらかじめ定められた領域を特定する。また、判定装置１０は、領域の画像の正対補正を行う。また、判定装置１０は、補正された領域の画像を基に、領域の画像内のオブジェクトの外見が、あらかじめ定められた状態であるか否かを判定する。このように、判定装置１０は、判定対象の領域の画像を正対補正することで、画像内のオブジェクトの外見の状態を正確に判定することができる。また、判定装置１０は、ＡＲを用いて、判定対象領域の画像の歪みや傾きを自動的に取得し正対補正を行うことができる。このため、本実施形態によれば、機器等の操作が正しく行われたか否かを、自動的かつ正確に確認することが可能になる。
【００４２】
判定装置１０は、撮像された画像の撮像時のカメラの姿勢をさらに特定する。このとき、判定装置１０は、カメラの姿勢を基に領域の画像の正対補正を行う。これにより、ＡＲを用いた正対補正を行うことが可能になる。
【００４３】
判定装置１０は、補正された領域の画像と、あらかじめ用意された正解画像との合致度が所定値以上であるか否かに基づいて、外見があらかじめ定められた状態であるか否かを判定する。このように、正対補正済みの画像を比較に用いることで、正確な判定が可能になる。
【００４４】
判定装置１０は、オブジェクトの外見に対する判定結果を、オブジェクトの画像とともに表示する。これにより、ユーザは、オブジェクトごとの判定結果を容易に把握することができる。
【００４５】
判定装置１０は、領域の画像内のオブジェクトの外見に対する判定結果を、撮像された画像の領域に重畳させて表示する。これにより、ユーザは、判定対象のオブジェクトの場所を容易に特定することができる。
【００４６】
特定部１５１は、機器の操作に関する複数のステップのうち、実行中のステップにあらかじめ対応付けられた領域であって、操作により外見が変化するオブジェクトを含む領域を特定する。これにより、各ステップにおける確認箇所を明確にすることができる。
【００４７】
表示部１２は、機器の操作に関する複数のステップのうちの第１のステップに関する情報をＡＲにより表示し、判定部によって、第１のステップにあらかじめ対応付けられた領域のオブジェクトの外見があらかじめ定められた状態であると判定された場合、第１のステップの次のステップである第２のステップに関する情報をＡＲにより表示する。これにより、前のステップが完了する前に次のステップの操作が進められることを防止することができる。
【００４８】
なお、本実施形態の判定装置１０で実行されるプログラムは、ＲＯＭ等にあらかじめ組み込まれて提供される。本実施形態の判定装置１０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００４９】
さらに、本実施形態の判定装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の判定装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
【００５０】
本実施形態の判定装置１０で実行されるプログラムは、上述した各部（特定部１５１、補正部１５２、判定部１５３及び表示制御部１５４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵが上記ＲＯＭからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、特定部１５１、補正部１５２、判定部１５３及び表示制御部１５４が主記憶装置上に生成されるようになっている。
【００５１】
本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００５２】
１０  判定装置
１１  入力部
１２  表示部
１２ａ、１２ｂ、１２１ａ、１２２ａ、１２３ａ、１２４ａ、１２５ａ、１２１ｂ、１２２ｂ、１２３ｂ、１２４ｂ、１２５ｂ  領域
１３  撮像部
１４  記憶部
１５  制御部
２０  生成装置
１２０  マーカ
１４１  ＡＲ情報
１４２  判定情報
１５１  特定部
１５２  補正部
１５３  判定部
１５４  表示制御部
【図１】
2020057298.tif 000003
【図２】
2020057298.tif 000004
【図３】
2020057298.tif 000005
【図４】
2020057298.tif 000006
【図５】
2020057298.tif 000007
【図６】
2020057298.tif 000008
【図７】
2020057298.tif 000009