(57)【要約】【課題】簡易な構成により、鉄筋の検査を支援することができる鉄筋検査支援装置を得る。【解決手段】鉄筋検査支援装置２０の検査用画像取得部３０が、建設現場における鉄筋が写る画像である鉄筋画像を取得する。そして、鉄筋検査支援装置２０の画像処理部３１は、検査用画像取得部３０によって取得された鉄筋画像と、画像に写る鉄筋の検査情報を出力する予め生成されたモデルとに基づいて、検査用画像取得部３０によって取得された鉄筋画像の検査情報を出力する。【選択図】図６
2019114146.tif 000002
【特許請求の範囲】
【請求項１】
建設現場における鉄筋が写る画像である鉄筋画像を取得する取得部と、
前記取得部によって取得された前記鉄筋画像と、画像に写る鉄筋の検査情報を出力する予め生成されたモデルとに基づいて、前記取得部によって取得された前記鉄筋画像の検査情報を出力する画像処理部と、
を含む鉄筋検査支援装置。
【請求項２】
前記画像処理部は、
前記取得部によって取得された前記鉄筋画像と、鉄筋の圧接こぶが写る学習用画像から予め生成された判定用の学習済みモデルであって、かつ画像に圧接こぶが写っているか否かを判定するための前記判定用の学習済みモデルとに基づいて、前記鉄筋画像のうちの鉄筋の圧接こぶの位置を判定する位置判定部と、
前記位置判定部による判定結果から得られる、前記鉄筋画像のうちの前記圧接こぶが写っていると判定された部分画像の前記圧接こぶの形状及び大きさの少なくとも一方に基づいて、前記圧接こぶが適切であるか否かに関する情報を前記検査情報として出力する検査部とを含む、
請求項１に記載の鉄筋検査支援装置。
【請求項３】
前記画像処理部は、前記取得部によって取得された前記鉄筋画像と、鉄筋の圧接こぶが写る学習用画像と該学習用画像に写る圧接こぶの形状及び大きさの少なくとも一方が適切であるか否かのラベルとを表す学習用データから予め生成された検査用の学習済みモデルとに基づいて、前記圧接こぶが適切であるか否かに関する情報を前記検査情報として出力する、
請求項１又は請求項２に記載の鉄筋検査支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鉄筋検査支援装置に関する。
【背景技術】
【０００２】
従来、配筋検査の工数の低減、配筋検査の作業時間の短縮が可能な配筋検査システムが知られている（例えば、特許文献１を参照）。特許文献１に記載の技術では、検査対象の鉄筋の径、本数、ピッチの少なくとも一つの情報が入力され、入力された検査対象の鉄筋の情報と検査対象の鉄筋の計測情報との一致／不一致を判定する。
【０００３】
また、誤検査を防止することができる検査支援システムが知られている（例えば、特許文献２を参照）。特許文献２に記載の技術では、配筋を示す画像情報に基づいて、当該画像情報により示される画像から配筋の予め定められた特徴を示す特徴情報を抽出する。そして、抽出した特徴情報と予め記憶された配筋の３ＤＣＡＤ情報に含まれる特徴情報との差分を導出し、導出した差分が予め定められた閾値以上であるか否かを判定する。そして、導出した差分が予め定められた閾値以上であると判定した場合に警告を報知する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２‐２１３２３号公報
【特許文献２】特開２０１６‐３９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献１に記載の技術では、検査対象の鉄筋の径、本数、ピッチの少なくとも一つの情報を入力する必要がある。また、上記特許文献２に記載の技術では、予め記憶された配筋の３ＤＣＡＤを読み込む必要がある。そのため、上記特許文献１及び上記特許文献２に記載の技術では、鉄筋に関する正解データを読み込む必要があるため、鉄筋の検査を簡易に行うことができない、という課題がある。
【０００６】
本発明は上記事実を考慮して、簡易な構成により、鉄筋の検査を支援することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の鉄筋検査支援装置は、建設現場における鉄筋が写る画像である鉄筋画像を取得する取得部と、前記取得部によって取得された前記鉄筋画像と、画像に写る鉄筋の検査情報を出力する予め生成されたモデルとに基づいて、前記取得部によって取得された前記鉄筋画像の検査情報を出力する画像処理部と、を含む。本発明の鉄筋検査支援装置によれば、簡易な構成により、鉄筋の検査を支援することができる。
【０００８】
また、本発明の前記画像処理部は、前記取得部によって取得された前記鉄筋画像と、鉄筋の圧接こぶが写る学習用画像から予め生成された判定用の学習済みモデルであって、かつ画像に圧接こぶが写っているか否かを判定するための前記判定用の学習済みモデルとに基づいて、前記鉄筋画像のうちの鉄筋の圧接こぶの位置を判定する位置判定部と、前記位置判定部による判定結果から得られる、前記鉄筋画像のうちの前記圧接こぶが写っていると判定された部分画像の前記圧接こぶの形状及び大きさの少なくとも一方に基づいて、前記圧接こぶが適切であるか否かに関する情報を前記検査情報として出力する検査部とを含むようにすることができる。これにより、鉄筋の圧接こぶの位置を検出することで、鉄筋の検査を支援することができる。また、予め収集された学習用データが反映された判定用の学習済みモデルを用いて、建設現場における鉄筋の検査を支援することができる。
【０００９】
また、本発明の前記検査部は、前記取得部によって取得された前記鉄筋画像と、鉄筋の圧接こぶが写る学習用画像と該学習用画像に写る圧接こぶの形状及び大きさの少なくとも一方が適切であるか否かのラベルとを表す学習用データから予め生成された検査用の学習済みモデルとに基づいて、前記圧接こぶが適切であるか否かに関する情報を前記検査情報として出力するようにすることができる。これにより、予め収集された学習用データが反映された検査用の学習済みモデルを用いて、建設現場における鉄筋の検査を支援することができる。
【発明の効果】
【００１０】
本発明によれば、簡易な構成により、鉄筋の検査を支援することができる、という効果が得られる。
【図面の簡単な説明】
【００１１】
【図１】圧接こぶの検査の一例を説明するための説明図である。
【図２】圧接こぶが適切であるか否かを判定するための基準の一例を示す図である。
【図３】圧接こぶを検査するための検査器具の一例を示す図である。
【図４】圧接こぶを検査するための検査器具の一例を示す図である。
【図５】圧接こぶを検査するための検査器具の一例を示す図である。
【図６】第１の実施形態に係る鉄筋検査支援システムの概略構成を示すブロック図である。
【図７】第１の実施形態で用いる学習用データが格納されたテーブルの一例を示す図である。
【図８】第１の実施形態で用いる学習用画像の一例を示す図である。
【図９】第１の実施形態で用いる学習済みモデルの一例を示す図である。
【図１０】圧接こぶの位置を検出する際の処理を説明するための説明図である。
【図１１】鉄筋の種別を識別するためのマークを説明するための説明図である。
【図１２】圧接こぶの圧接面を特定する処理の一例を説明するための説明図である。
【図１３】第１の実施形態おける学習処理ルーチンの一例を示す図である。
【図１４】第１の実施形態おける検査支援処理ルーチンの一例を示す図である。
【図１５】第２の実施形態に係る鉄筋検査支援システムの概略構成を示すブロック図である。
【図１６】第２の実施形態で用いる学習済みモデルの一例を示す図である。
【図１７】第２の実施形態おける学習処理ルーチンの一例を示す図である。
【図１８】第２の実施形態おける検査支援処理ルーチンの一例を示す図である。
【図１９】鉄筋径から鉄筋同士の間隔を算出する際の処理を説明するための説明図である。
【発明を実施するための形態】
【００１２】
＜鉄筋の圧接こぶの検査について＞
【００１３】
建設現場において鉄筋同士の圧接作業が行われる場合には、鉄筋の接続が適切であるか否かが検査される。この場合、検査の要領は、（ア）圧接条件を満たす技能資格者であること、（イ）圧接の位置と相互の配置が定められた範囲にあること、（ウ）圧接部の形状が規定どおりになっていること、（エ）折れ曲がり、片ふくらみ、焼割れ、へこみ、垂れ下がりがないこと、（オ）抜き取りによる引張試験あるいは超音波探傷試験により検査されること、である。この場合には、例えば、鉄筋の接続箇所である圧接こぶの大きさ及び形状に基づいて、鉄筋の接続が適切であるか否かが計測や目視により検査される。
【００１４】
検査内容の（ウ）は、例えば、図１（Ａ）及び（Ｂ）に示されるように、所定の検査員等がノギスを用いて、ランダムに選択した圧接こぶの縦方向の長さ及び横方向の長さを計測して、所定の基準を満たしているか否かが検査される。
【００１５】
図２に、圧接こぶが適切であるか否かを判定するための基準の一例を示す。例えば、図２に示される（１）〜（４）の基準によって、圧接こぶが適切であるか否かが判定される。なお、（１）〜（４）における、ｘ１、ｘ２、ｙ１、ｙ２、及びｚ１の値は、予め設定される値である。
【００１６】
（１）圧接こぶのふくらみの縦方向の長さａは、接続対象の鉄筋の鉄筋径Ｄのｙ１倍（鉄筋径によってはｙ２倍）以上であること。
（２）圧接こぶのふくらみの横方向の長さｂは、接続対象の鉄筋の鉄筋径Ｄのｘ１倍（鉄筋径によってはｘ２倍）以上であること。
（３）圧接こぶの圧接面ｄと圧接こぶの中心面ｃとの間のずれは、接続対象の鉄筋の鉄筋径Ｄの（１／ｘ３）以下であること。
（４）圧接こぶにおける鉄筋の中心軸間のずれは、鉄筋径Ｄ（接続対象の鉄筋径が異なる場合は細い方の鉄筋の鉄筋径）の（１／ｚ１）以下であること。
【００１７】
しかし、上記図１（Ａ）及び（Ｂ）に示されるような検査では、検査員の手が届く範囲しか検査を行うことができないため、検査可能なタイミングは限られてしまう。また、ノギスによる検査では、圧接こぶの周辺の鉄筋等が邪魔になり、限られた方向からしか検査をすることができない。更に、非常に限られた数量しか検査をすることができない。
【００１８】
このような課題に対して、所定の検査器具を用いて検査を行うことが考えられる。例えば、図３（Ａ）及び（Ｂ）に示されるような検査器具ＴＫを用いることが考えられる。
【００１９】
検査器具ＴＫは、例えば、透明なプラスチックによって構成される。検査器具ＴＫは、圧接こぶの検査部ＣＫを備えている。この検査部ＣＫの大きさは、例えば、上記の基準（１）〜（４）が満たされるように、検査対象の鉄筋径Ｄに応じて予め形成される。図３（Ｂ）に示されるように、検査員は検査器具ＴＫを手に持ち、検査器具ＴＫを通して、検査対象の圧接こぶを目視することにより、圧接こぶが所定の基準を満たしているか否かを検査する。検査器具ＴＫの各部は、検査対象の鉄筋径Ｄと圧接こぶの検査部ＣＫの大きさとの比率に応じて予め形成されている。このため、検査員は、検査器具ＴＫの鉄筋径Ｄの部分と検査対象の鉄筋とが一致する箇所に立ち、検査器具ＴＫの鉄筋径Ｄの部分と検査対象の鉄筋とさせることにより、圧接こぶの外観検査を行うことができる。
【００２０】
また、図４及び図５に示されるような検査器具ＳＫを用いることも考えられる。
【００２１】
図４に示される検査器具ＳＫは、例えば、透明なプラスチック板によって構成される。検査器具ＳＫは、検査対象の鉄筋径毎（ＳＤ３４５、ＳＤ３９０、及びＳＤ４９０）に、圧接こぶが上記の基準（１）〜（４）を満たしているか否かを検査するための図が描画されている。なお、図４に示される検査器具ＳＫには、接続対象の鉄筋同士の接続の角度のずれが２°であるか否かを判定するための図も描画されている。
【００２２】
検査員は、例えば図５に示されるように、検査器具ＳＫとカメラＣＭとを手に持ち、検査器具ＳＫを通して検査対象の圧接こぶを確認し、検査器具ＳＫ越しの圧接こぶをカメラＣＭによって撮像する。この場合も、検査員は、検査器具ＳＫの鉄筋径Ｄの部分と検査対象の鉄筋とが一致する箇所に立ち、検査器具ＳＫの鉄筋径Ｄの部分と検査対象の鉄筋とさせることにより圧接こぶの検査を行う。これにより、圧接こぶが所定の基準を満たしているか否かを検査することができる。また、従来では、撮影者と検査器具（ノギス等）の保持者との二人による検査作業が必要であったが、一人による検査作業が可能となる。
【００２３】
しかし、上記図３〜図５の検査器具を用いたとしても、検査可能なタイミングが増え、また検査可能な対象数も増えることになるが、人手による検査であるため非常に限定された対象の検査となる。
【００２４】
そこで、本発明の実施形態では、建設現場における鉄筋が写る画像である鉄筋画像と、画像に写る鉄筋の検査情報を出力する予め生成されたモデルとに基づいて、鉄筋画像の検査情報を出力する。具体的には、鉄筋画像から複数の圧接こぶの位置を検出し、圧接こぶの大きさ及び形状が所定の基準を満たしているか否かを画像処理によって判定する。また、本実施形態では、圧接こぶの位置を検出する際又は圧接こぶの大きさ及び形状が所定の基準を満たしているか否かを判定する際には、機械学習によって予め学習された学習済みモデルを用いる。
【００２５】
以下、本発明の実施形態について詳細に説明する。
【００２６】
＜第１の実施形態の鉄筋検査支援システムの構成＞
【００２７】
図６は、第１の実施形態に係る鉄筋検査支援システムの構成の一例を示すブロック図である。鉄筋検査支援システム１００は、図６に示されるように、入力装置１２と、カメラ１４と、鉄筋検査支援装置２０と、出力装置４０とを備える。
【００２８】
入力装置１２は、複数の学習用画像の入力を受け付ける。学習用画像には、ラベルが予め付与されている。学習用画像に予め付与されているラベルは、鉄筋を圧接によって接続したときに生じる、鉄筋の圧接こぶが学習用画像に写っているか否かを表す。
【００２９】
カメラ１４は、画像を撮像する。カメラ１４は、例えば、建設現場における作業員等によって操作され、建設現場における鉄筋が写る画像である鉄筋画像を撮像する。
【００３０】
鉄筋検査支援装置２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。また、鉄筋検査支援装置２０は、機能的には、学習用画像取得部２２と、学習用データ記憶部２４と、学習部２６と、学習済みモデル記憶部２８と、検査用画像取得部３０と、位置判定部３２と、画像処理部３１とを備える。検査用画像取得部３０は、本発明の取得部の一例である。
【００３１】
学習用画像取得部２２は、入力装置１２から入力された、複数の学習用画像を取得する。そして、学習用画像取得部２２は、複数の学習用画像を学習用データ記憶部２４へ格納する。
【００３２】
学習用データ記憶部２４には、複数の学習用画像が格納される。例えば、図７に示されるように、複数の学習用画像と、複数の学習用画像の各々についてのラベルとが対応付けられて、学習用データセットとして格納される。１つの学習用画像と１つのラベルとの組み合わせが、１つの学習用データとして用いられる。例えば、図８に示されるように、圧接こぶが写っている画像ＧＤ１にはラベルとして１が付与され、圧接こぶが写っていない画像ＧＤ２にはラベルとして０が付与される。
【００３３】
学習部２６は、学習用データ記憶部２４に格納された学習用データの各々に基づいて、画像に圧接こぶが写っているか否かを判定するための判定用のモデルを学習させて、判定用の学習済みモデルを生成する。学習部２６は、学習用データ記憶部２４に格納された学習用データの各々に基づいて、例えば、ディープラーニングによってニューラルネットワークモデルを学習させる。
【００３４】
図９に、本実施形態で用いるモデルの一例を示す。本実施形態では、モデルの一例としてニューラルネットワークモデルを用いる場合を例に説明する。図９に示される学習済みモデルは、鉄筋画像の部分画像が入力されると、当該部分画像に圧接こぶが写っているか否かを判定する。具体的には、学習済みモデルは、部分画像に圧接こぶが写っている確率ＰＡと、部分画像に圧接こぶが写っていない確率ＰＢを出力する。
【００３５】
学習部２６は、例えば、上記図７に示される、データＩＤ「00001」の学習用画像Ｉ１がニューラルネットワークモデルへ入力された際には、画像に圧接こぶが写っている確率ＰＡが高くなるように、ニューラルネットワークモデルを学習させる。また、データＩＤ「00002」の学習用画像Ｉ２がニューラルネットワークモデルへ入力された際には、画像に圧接こぶが写っていない確率ＰＢが高くなるように、ニューラルネットワークモデルを学習させる。
【００３６】
学習済みモデル記憶部２８は、学習部２６によって生成された、判定用の学習済みモデルが格納される。
【００３７】
検査用画像取得部３０は、カメラ１４によって撮像された、検査対象の鉄筋画像を取得する。
【００３８】
画像処理部３１は、検査用画像取得部３０によって取得された鉄筋画像に基づいて、鉄筋画像に写る圧接こぶが適切であるか否かを画像処理によって判定する。画像処理部３１は、位置判定部３２と検査部３４とを備える。
【００３９】
位置判定部３２は、学習済みモデル記憶部２８に格納された、判定用の学習済みモデルを取得する。そして、位置判定部３２は、検査用画像取得部３０によって取得された鉄筋画像と判定用の学習済みモデルとに基づいて、鉄筋画像のうちの鉄筋の圧接こぶの位置を判定する。
【００４０】
具体的には、位置判定部３２は、検査用画像取得部３０によって取得された鉄筋画像に対して部分領域を設定し、その部分領域に対応する部分画像を判定用の学習済みモデルへ入力して、部分画像に圧接こぶが写っているか否かを判定する。
【００４１】
例えば、図１０に示されるような鉄筋画像ＴＧが入力された場合、位置判定部３２は、部分領域Ｔを鉄筋画像ＴＧに対して走査する。そして、位置判定部３２は、部分領域Ｔに対応する部分画像を判定用の学習済みモデルへ逐次入力し、当該部分領域Ｔに圧接こぶが写っているか否かを判定する。具体的には、位置判定部３２は、部分画像を判定用の学習済みモデルへ入力したときに、部分画像に圧接こぶが写っている確率ＰＡと部分画像に圧接こぶが写っていない確率ＰＢとを取得する。そして、確率ＰＡが確率ＰＢよりも大きい場合には、その部分画像に圧接こぶが写っていると判定する。また、確率ＰＢが確率ＰＡよりも大きい場合には、その部分画像に圧接こぶが写っていないと判定する。これにより、検査用画像取得部３０によって取得された鉄筋画像のどこに圧接こぶが存在しているのかが特定される。
【００４２】
検査部３４は、位置判定部３２による判定結果に基づいて、検査対象の鉄筋画像に写る圧接こぶが適切であるか否かを判定する。具体的には、検査部３４は、圧接こぶが写っていると判定された部分画像の圧接こぶの形状及び大きさに基づいて、圧接こぶが適切であるか否かに関する情報を検査情報として出力する。
【００４３】
まず、検査部３４は、圧接こぶが写っていると判定された部分画像の各々に対して所定の幾何学的変換を施す。幾何学的変換により、例えば、平行移動、拡大又は縮小、及び回転等の線形変換等が鉄筋画像に対して行われる。
【００４４】
次に、検査部３４は、幾何学的変換処理が施された部分画像の各々に対して、ノイズの除去及び輪郭の明確化に関する処理を施す。具体的には、まず、検査部３４は、部分画像に対して所定のノイズ除去処理を施す。次に、検査部３４は、ノイズ除去処理が行われた部分画像からエッジ抽出を行うことにより、輪郭の明確化を行う。
【００４５】
次に、検査部３４は、エッジ抽出結果に基づいて、圧接こぶが写っていると判定された部分画像の各々に写る鉄筋の鉄筋径を特定する。鉄筋には、例えば図１１のＡ〜Ｃに示されるように、鉄筋の種別等を識別するための色又は浮彫マークが付与されている。例えば、図１１のＡに示されるように、ネジ節鉄筋の所定の箇所には着色（図１１のＡの斜線部分）がなされており、着色に応じて鉄筋の材質等を判別することができる。また、例えば、図１１のＢ，Ｃに示されるように、竹節鉄筋の所定の箇所には所定の浮彫マークが付与されており、浮彫マークに応じて鉄筋径及び材質等を判別することができる。そのため、例えば、検査部３４は、図１１のＢ，Ｃに示される鉄筋表面の浮彫マークに基づいて鉄筋の種別を特定し、鉄筋径を特定する。なお、図１１のＡ，Ｂ，Ｃの色又は浮彫マークは、鉄筋の製造メーカにより異なる。
【００４６】
しかし、図１１のＢ，Ｃに示される竹節鉄筋の表面の浮彫マークが、鉄筋画像に写る鉄筋の裏側に存在している場合には、鉄筋径を特定することができない。また、図１１のＡのネジ節鉄筋の場合には、着色の情報からは鉄筋径を特定することができない。そのため、例えば、建設現場の建設作業員は、鉄筋画像を撮像する際に、大きさが既知の物体を鉄筋画像が撮像される領域に設置して、鉄筋画像を撮像する。例えば、建設作業員は、２０［ｍｍ］角の立方体を、鉄筋画像が撮像される領域に並置させて鉄筋画像を撮像する。そして、検査部３４は、鉄筋画像に写る鉄筋と立方体とを比較して、鉄筋径を特定する。これにより、鉄筋画像に写る鉄筋径を特定することができる。
【００４７】
なお、鉄筋画像を撮像する際に設置する物体としては、例えば、大きさが既知である球体であってもよい。また、大きさが既知の物体を設置する方法としては、例えば、撮像対象の鉄筋の近傍に物体を併置する、または所定の箇所に物体を吊るす等の方法で設置することができる。
【００４８】
次に、検査部３４は、圧接こぶが写っていると判定された部分画像の各々のエッジ抽出結果と部分画像に写る鉄筋の鉄筋径とに基づいて、部分画像に写る圧接こぶの大きさ及び形状を推定する。本実施形態では、鉄筋表面の浮彫に基づき鉄筋径が特定される。そのため、画像に写る鉄筋径に基づき、圧接こぶの大きさも特定される。
【００４９】
そして、検査部３４は、推定された圧接こぶの大きさ及び形状に基づいて、部分画像に写る圧接こぶが適切であるか否かを判定する。
【００５０】
具体的には、検査部３４は、上記図２（１）（２）に示される、圧接こぶの縦方向の長さａを算出する。また、検査部３４は、上記図２（１）（２）に示される、圧接こぶの縦方向の長さｂを算出する。
【００５１】
また、検査部３４は、上記図２（３）に示される、圧接こぶの膨らみの頂点を結ぶ頂点線ｃを特定する。また、検査部３４は、上記図２（３）に示される、圧接こぶの圧接面ｄを特定する。
【００５２】
なお、圧接こぶの圧接面付近の領域はエッジ成分が少なく、圧接こぶの端部の領域（接続対象の鉄筋付近の領域）はエッジ成分が多い。そのため、例えば、検査部３４は、エッジ抽出結果に基づいて、圧接こぶの圧接面ｄを特定する。例えば、検査部３４は、圧接こぶの圧接面ｄを特定する際に、図１２に示されるように、圧接こぶの位置を特定した後に、周辺の領域と比較して、エッジ成分の少ない領域Ｖを特定し、その領域Ｖの中心を圧接こぶの圧接面ｄとして特定する。
【００５３】
また、検査部３４は、上記図２（４）に示される、接続対象の一方の鉄筋を表すエッジ線ｅと、他方の鉄筋を表すエッジ線ｆを特定する。
【００５４】
そして、検査部３４は、圧接こぶの縦方向の長さａが、接続対象の鉄筋径Ｄのｙ１倍（鉄筋径によってはｙ２倍）以上であるか否かを判定する。これにより、圧接こぶが上記（１）の基準を満たしているか否かが判定される。
【００５５】
また、検査部３４は、圧接こぶの横方向の長さｂが、接続対象の鉄筋径Ｄのｘ１倍（鉄筋径によってはｘ２倍）以上であるか否かを判定する。これにより、圧接こぶが上記（２）の基準を満たしているか否かが判定される。
【００５６】
また、検査部３４は、圧接こぶの膨らみの頂点を結ぶ頂点線ｃと圧接こぶの圧接面ｄとの間の距離が、鉄筋径Ｄの（１／ｘ３）以下であるか否かを判定する。これにより、圧接こぶが上記（３）の基準を満たしているか否かが判定される。
【００５７】
また、検査部３４は、一方の鉄筋を表すエッジ線ｅと他方の鉄筋を表すエッジ線ｆとのずれが、鉄筋径Ｄの（１／ｚ１）以下であるか否かを判定する。これにより、圧接こぶが上記（４）の基準を満たしているか否かが判定される。
【００５８】
そして、検査部３４は、上記（１）〜（４）の基準が全て満たされている場合には、圧接こぶが適切であると判定し、圧接こぶが合格であることを示す検査情報を出力する。一方、検査部３４は、上記（１）〜（４）の基準のうちの少なくとも１つが満たされていない場合には、圧接こぶは不適切であると判定し、圧接こぶが不合格であることを示す検査情報を出力する。
【００５９】
なお、検査情報には、合否不明であることを示す情報が含まれていても良い。この場合には、例えば、上記（１）〜（４）の基準のうちの少なくとも２つ以上が満たされていない場合には、圧接こぶが不合格であることを示す検査情報を出力する。また、上記（１）〜（４）の基準のうちの１つの基準が満たされていない場合には、圧接こぶの合否は不明であることを示す検査情報を出力する。
【００６０】
出力装置４０は、検査部３４によって出力された検査情報を結果として出力する。例えば、出力装置４０は、ディスプレイによって実現される。
【００６１】
ユーザである建設作業員は、出力装置４０によって出力された結果を確認する。そして、建設作業員は、出力装置４０によって出力された結果に基づき、圧接こぶが不合格である場合は、作業員等へ鉄筋接続の修正作業等を指示する。また、圧接こぶが合否不明である場合は、検査員等へ詳細な調査を指示する。
【００６２】
＜鉄筋検査支援システムの作用＞
【００６３】
次に、図１３及び図１４を参照して、鉄筋検査支援システム１００の作用を説明する。鉄筋検査支援システム１００では、圧接こぶが画像に写っているか否かを判定する判定用の学習済みモデルを得るための学習処理ルーチンと、圧接こぶが適切であるか否かを判定するための検査支援処理ルーチンとが実行される。
【００６４】
＜学習処理ルーチン＞
【００６５】
入力装置１２によって受け付けられた複数の学習用画像が鉄筋検査支援装置２０に入力されると、学習用画像取得部２２は、複数の学習用画像を学習用データ記憶部２４へ格納する。そして、鉄筋検査支援装置２０は、学習処理開始の制御信号を受信すると、図１３に示される学習処理ルーチンを実行する。
【００６６】
ステップＳ１００において、学習部２６は、学習用データ記憶部２４に格納された学習用データの各々を取得する。
【００６７】
ステップＳ１０２において、学習部２６は、上記ステップＳ１００で取得された学習用データの各々に基づいて、画像に圧接こぶが写っているか否かを判定するための判定用のモデルを学習させて、判定用の学習済みモデルを生成する。
【００６８】
ステップＳ１０４において、学習部２６は、上記ステップＳ１０２で生成された、判定用の学習済みモデルを学習済みモデル記憶部２８に格納して、学習処理ルーチンを終了する。
【００６９】
＜検査支援処理ルーチン＞
【００７０】
学習処理ルーチンによって、圧接こぶの位置の判定用の学習済みモデルが学習済みモデル記憶部２８に格納されると、鉄筋検査支援装置２０は、図１４に示される検査支援処理ルーチンを実行することができる。具体的には、鉄筋検査支援装置２０は、カメラ１４によって撮像された、建設現場の鉄筋画像が鉄筋検査支援装置２０に入力されると、図１４に示される検査支援処理ルーチンを実行する。
【００７１】
ステップＳ１５０において、検査用画像取得部３０は、カメラ１４によって撮像された、検査対象の鉄筋画像を取得する。
【００７２】
ステップＳ１５２において、位置判定部３２は、学習済みモデル記憶部２８に格納された、判定用の学習済みモデルを読み出す。
【００７３】
ステップＳ１５４において、位置判定部３２は、上記ステップＳ１５０で取得された鉄筋画像と、上記ステップＳ１５２で取得した判定用の学習済みモデルとに基づいて、鉄筋画像のうちの鉄筋の圧接こぶの位置を判定する。具体的には、位置判定部３２は、上記ステップＳ１５０で取得された鉄筋画像に対して部分領域を設定し、その部分領域に対応する部分画像を判定用の学習済みモデルへ入力して、部分画像に圧接こぶが写っているか否かを判定する。
【００７４】
ステップＳ１５６において、検査部３４は、上記ステップＳ１５４で得られた、圧接こぶが写っていると判定された部分画像の各々に対して、所定の幾何学的変換を施す。
【００７５】
ステップＳ１５８において、検査部３４は、上記ステップＳ１５４で幾何学的変換処理が施された部分画像の各々に対して、所定のノイズ除去処理を施す。次に、検査部３４は、ノイズ除去処理が行われた部分画像の各々からエッジ抽出を行う。
【００７６】
ステップＳ１６０において、上記ステップＳ１５８で得られた部分画像の各々についてのエッジ抽出結果に基づいて、鉄筋表面の浮彫に基づいて鉄筋の種別を特定し、部分画像に写る鉄筋の鉄筋径を特定する。
【００７７】
ステップＳ１６２において、検査部３４は、上記ステップＳ１５８で得られた部分画像の各々についてのエッジ抽出結果と、上記ステップＳ１６０で特定された部分画像の各々に写る鉄筋の鉄筋径とに基づいて、各部分画像に写る圧接こぶの大きさ及び形状を推定する。具体的には、ステップＳ１６２において、検査部３４は、圧接こぶの縦方向の長さａと圧接こぶの縦方向の長さｂを算出する。また、検査部３４は、圧接こぶの膨らみの頂点を結ぶ頂点線ｃと圧接こぶの圧接面ｄを特定する。また、検査部３４は、接続対象の一方の鉄筋を表すエッジ線ｅと、他方の鉄筋を表すエッジ線ｆを特定する。
【００７８】
ステップＳ１６４において、検査部３４は、上記ステップＳ１６２で推定された、部分画像の各々に写る圧接こぶの大きさ及び形状に基づいて、部分画像に写る圧接こぶが適切であるか否かを判定する。
【００７９】
具体的には、ステップＳ１６４において、検査部３４は、上記（１）の基準に基づき、圧接こぶの縦方向の長さａが接続対象の鉄筋径Ｄのｙ１倍（鉄筋径によってはｙ２倍）以上であるか否かを判定する。また、検査部３４は、上記（２）の基準に基づき、圧接こぶの横方向の長さｂが接続対象の鉄筋径Ｄのｘ１倍（鉄筋径によってはｘ２倍）以上であるか否かを判定する。また、検査部３４は、上記（３）の基準に基づき、圧接こぶの膨らみの頂点を結ぶ頂点線ｃと圧接こぶの圧接面ｄとの間の距離が、鉄筋径Ｄの（１／ｘ３）以下であるか否かを判定する。また、検査部３４は、上記（４）の基準に基づき、一方の鉄筋を表すエッジ線ｅと他方の鉄筋を表すエッジ線ｆとのずれが、鉄筋径Ｄの（１／ｚ１）以下であるか否かを判定する。
【００８０】
ステップＳ１６６において、検査部３４は、上記ステップＳ１６４で得られた判定結果に基づいて、圧接こぶに関する検査情報を出力する。具体的には、検査部３４は、上記（１）〜（４）の基準が全て満たされている場合には、圧接こぶが合格であることを示す検査情報を出力する。また、検査部３４は、上記（１）〜（４）の基準のうちの少なくとも２つ以上が満たされていない場合には、圧接こぶが不合格であることを示す検査情報を出力する。また、検査部３４は、上記（１）〜（４）の基準のうちの１つの基準が満たされていない場合には、圧接こぶの合否は不明であることを示す検査情報を出力する。そして、検査支援処理を終了する。
【００８１】
以上詳細に説明したように、第１の実施形態では、建設現場における鉄筋が写る画像である鉄筋画像と、鉄筋の圧接こぶが写る学習用画像から予め生成された判定用の学習済みモデルとに基づいて、鉄筋画像のうちの鉄筋の圧接こぶの位置を判定する。そして、圧接こぶが写っていると判定された部分画像の圧接こぶの形状及び大きさに基づいて、圧接こぶが適切であるか否かに関する情報を検査情報として出力する。これにより、簡易な構成により、建設現場における鉄筋の検査を支援することができる。また、鉄筋の圧接こぶの位置を検出することで、鉄筋の検査を支援することができる。また、ユーザによって予め収集された学習用データが反映された、位置判定用の学習済みモデルを用いて、建設現場における鉄筋の検査を支援することができる。
【００８２】
また、建設現場で取得された鉄筋画像を画像処理することにより、複数個所の圧接こぶの検査を同時に行うことができる。これにより、圧接こぶの検査を効率的に実施することができる。
【００８３】
また、カメラによって撮像された画像を画像処理することにより、検査員の手の届かない部分の圧接こぶの検査をすることができる。
【００８４】
また、人手によって検査が行われることによる、検査員間の判定差を低減することができる。これにより、測定者による測定誤差を排除した画一的な判定が可能になる。
【００８５】
また、ノギス等の測定器具を用いた場合には、圧接こぶに測定器具を直接当てることにより測定器具を鉄筋の間に落下させる可能性が高かったが、画像処理によって検査を行うことにより、測定器具の落下の可能性を防ぐことができる。
【００８６】
＜第２の実施形態の鉄筋検査支援システムのシステム構成＞
【００８７】
次に、第２の実施形態について説明する。なお、第１の実施形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【００８８】
第２の実施形態では、圧接こぶが適切であるか否かを表す学習用データから予め生成された検査用の学習済みモデルを用いて、圧接こぶが適切であるか否かに関する情報を検査情報として出力する点が、第１の実施形態と異なる。
【００８９】
図１５は、第２の実施形態に係る鉄筋検査支援システム２００の構成の一例を示すブロック図である。第２の実施形態に係る鉄筋検査支援装置２２０は、機能的には、学習用画像取得部２２２と、学習用データ記憶部２２４と、学習部２２６と、学習済みモデル記憶部２２８と、検査用画像取得部３０と、画像処理部２３１とを備える。
【００９０】
学習用画像取得部２２２は、入力装置１２から入力された、圧接こぶが適切であるか否かを表す複数の学習用データを更に取得する。本実施形態の学習用データは、鉄筋の圧接こぶが写る学習用画像と該学習用画像に写る圧接こぶの形状及び大きさが適切であるか否かのラベルとが対応付けられたデータである。そして、学習用画像取得部２２２は、複数の学習用データを学習用データ記憶部２２４へ格納する。
【００９１】
学習用データ記憶部２２４には、圧接こぶが適切であるか否かを表す複数の学習用データが更に格納される。例えば、鉄筋径に対して形状及び大きさが適切である圧接こぶが写っている画像にはラベルとして１が付与され、鉄筋径に対して形状及び大きさが適切でない画像にはラベルとして０が付与される。
【００９２】
学習部２２６は、学習用データ記憶部２２４に格納された、圧接こぶが適切であるか否かを表す学習用データの各々に基づいて、画像に写っている圧接こぶが適切であるか否かを判定するための検査用のモデルを学習させて、検査用の学習済みモデルを生成する。学習部２２６は、学習用データ記憶部２２４に格納された、圧接こぶが適切であるか否かを表す学習用データの各々に基づいて、例えば、ディープラーニングによってニューラルネットワークモデルを学習させる。
【００９３】
図１６に、第２の実施形態で用いるモデルの一例を示す。図１６に示される検査用の学習済みモデルは、圧接こぶが写っていると判定された部分画像が入力されると、当該部分画像に写る圧接が適切であるか否かを判定する。具体的には、検査用の学習済みモデルは、部分画像に写る圧接こぶが適切である確率ＰＸと、部分画像の圧接こぶが適切ではない確率ＰＹを出力する。
【００９４】
学習済みモデル記憶部２２８には、学習部２２６によって生成された、検査用の学習済みモデルが更に格納される。
【００９５】
画像処理部２３１は、検査用画像取得部３０によって取得された鉄筋画像に基づいて、鉄筋画像に写る圧接こぶが適切であるか否かを画像処理によって判定する。画像処理部２３１は、位置判定部３２と検査部２３４とを備える。
【００９６】
検査部２３４は、位置判定部３２によって圧接こぶが写っていると判定された部分画像と、学習済みモデル記憶部２２８に格納された検査用の学習済みモデルとに基づいて、圧接こぶが適切であるか否かに関する情報を検査情報として出力する。
【００９７】
具体的には、検査部２３４は、圧接こぶが写っていると判定された部分画像と、学習済みモデル記憶部２２８に格納された検査用の学習済みモデルとに基づいて、圧接こぶが写っていると判定された部分画像に写る圧接こぶが適切であるか否かを判定する。
【００９８】
より詳細には、検査部２３４は、圧接こぶが写っていると判定された部分画像を検査用の学習済みモデルへ入力したときに、部分画像の圧接こぶが適切である確率ＰＸと部分画像の圧接こぶが適切でない確率ＰＹとを取得する。そして、確率ＰＸが確率ＰＹよりも大きい場合には、その部分画像の圧接こぶは適切であると判定する。また、確率ＰＹが確率ＰＸよりも大きい場合には、その部分画像の圧接こぶは適切でないと判定する。これにより、部分画像の圧接こぶが適切であるのか否かが検査される。
【００９９】
＜鉄筋検査支援システムの作用＞
【０１００】
次に、図１７及び図１８を参照して、鉄筋検査支援システム２００の作用を説明する。鉄筋検査支援システム２００では、圧接こぶが画像に写っているか否かを判定する判定用の学習済みモデルを得るための図１３に示す学習処理ルーチンと、圧接こぶが適切であるか否かを判定する検査用の学習済みモデルを得るための図１７に示す学習処理ルーチンと、圧接こぶが適切であるか否かを検査するための図１８に示す検査支援処理ルーチンとが実行される。
【０１０１】
＜学習処理ルーチン＞
【０１０２】
入力装置１２によって受け付けられた、圧接こぶが適切であるか否かを表す複数の学習用データが鉄筋検査支援装置２２０に入力されると、学習用画像取得部２２２は、複数の学習用データを学習用データ記憶部２２４へ格納する。そして、鉄筋検査支援装置２２０は、学習処理開始の制御信号を受信すると、図１７に示される学習処理ルーチンを実行する。
【０１０３】
ステップＳ２００において、学習部２２６は、学習用データ記憶部２２４に格納された学習用データの各々を取得する。
【０１０４】
ステップＳ２０２において、学習部２２６は、上記ステップＳ２００で取得された学習用データの各々に基づいて、画像に写っている圧接こぶが適切であるか否かを判定するための検査用のモデルを学習させて、検査用の学習済みモデルを生成する。
【０１０５】
ステップＳ２０４において、学習部２２６は、上記ステップＳ２０２で生成された、検査用の学習済みモデルを学習済みモデル記憶部２２８に格納して、学習処理ルーチンを終了する。
【０１０６】
＜検査支援処理ルーチン＞
【０１０７】
学習処理ルーチンによって、圧接こぶの位置の判定用の学習済みモデルと、圧接こぶが適切であるか否かを判定するための検査用の学習済みモデルとが学習済みモデル記憶部２２８に格納されると、鉄筋検査支援装置２２０は、図１８に示される検査支援処理ルーチンを実行することができる。具体的には、鉄筋検査支援装置２２０は、カメラ１４によって撮像された、建設現場の鉄筋画像が鉄筋検査支援装置２２０に入力されると、図１８に示される検査支援処理ルーチンを実行する。
【０１０８】
ステップＳ１５０〜ステップＳ１６０、及びステップＳ１６６は、第１の実施形態と同様に実行される。
【０１０９】
ステップＳ２６１において、検査部２３４は、学習済みモデル記憶部２２８に格納された、検査用の学習済みモデルを読み出す。
【０１１０】
ステップＳ２６４において、検査部２３４は、ステップＳ１５４で圧接こぶが写っていると判定された部分画像と、上記ステップＳ２６１で読み出した検査用の学習済みモデルとに基づいて、圧接こぶが適切であるか否かに関する情報を検査情報として出力する。
【０１１１】
なお、第２の実施の形態に係る他の構成及び作用については、第１の実施の形態と同様であるため、説明を省略する。
【０１１２】
以上説明したように、第２の実施形態では、鉄筋画像と、予め生成された検査用の学習済みモデルに基づいて、圧接こぶが適切であるか否かに関する情報を検査情報として出力する。これにより、ユーザによって予め収集された学習用データが反映された検査用の学習済みモデルを用いて、建設現場における鉄筋の検査を支援することができる。
【０１１３】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１１４】
例えば、第１及び第２の実施形態では、学習用データから生成された位置判定用の学習済みモデルを用いて、圧接こぶの位置を検出する場合を例に説明したが、これに限定されるものではない。例えば、所定の画像処理によって、圧接こぶの位置を検出するようにしてもよい。例えば、予め生成されたモデルの一例である、圧接こぶを表すテンプレートを設定し、鉄筋画像に対してテンプレートマッチングを行うことにより、圧接こぶの位置を検出するようにしてもよい。
【０１１５】
また、第１及び第２の実施形態では、圧接こぶに関する検査を行う場合を例に説明したが、これに限定されるものではない。例えば、鉄筋画像に写る鉄筋の鉄筋径Ｄから、鉄筋画像に写る鉄筋同士の間隔を算出するモデルを予め生成してもよい。
【０１１６】
この場合には、例えば、図１９に示されるように、鉄筋径Ｄと鉄筋間に存在する画素数とに応じて鉄筋同士の間隔Ｌを算出される。そして、鉄筋画像に写る鉄筋の鉄筋径Ｄと鉄筋画像に写る鉄筋同士の間隔Ｌとを検査情報として出力する。
【０１１７】
また、上記実施形態では、圧接こぶの形状及び大きさに基づいて、圧接こぶが適切であるか否かを判定する場合を例に説明したが、これに限定されるものではない。例えば、圧接こぶの形状及び大きさの何れか一方に基づいて、圧接こぶが適切であるか否かを判定するようにしてもよい。
【０１１８】
また、上記実施形態では、鉄筋径が同一である鉄筋同士を圧接する場合を例に説明したが、これに限定されるものではない。鉄筋径が異なる鉄筋同士を圧接する場合であっても、本実施形態を適用することができる。
【０１１９】
また、上記実施形態では、鉄筋検査支援装置は、学習処理と鉄筋の検査支援処理とを行う場合を例に説明したが、これに限定されるものではない。例えば、学習用データに基づいて学習処理を行う鉄筋検査支援モデル学習装置と、鉄筋の検査支援処理を行う鉄筋検査支援装置とによってシステムを構成してもよい。この場合には、例えば、鉄筋検査支援モデル学習装置は、上記図６に示される、学習用画像取得部２２と、学習用データ記憶部２４と、学習部２６と、学習済みモデル記憶部２８とを含んで構成される。また、例えば、鉄筋検査支援装置は、上記図６に示される、検査用画像取得部３０と、位置判定部３２及び検査部を含む画像処理部３１とを含んで構成される。この場合、鉄筋検査支援装置は、鉄筋検査支援モデル学習装置の学習済みモデル記憶部２８に格納された学習済みモデルを取得して、鉄筋の検査支援処理を行う。
【０１２０】
また、上記では本発明に係るプログラムがプログラム記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、本発明に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ及びマイクロＳＤカード等の記録媒体の何れかに記録されている形態で提供することも可能である。
【符号の説明】
【０１２１】
１２   入力装置
１４   カメラ
２０，２２０  鉄筋検査支援装置
２２，２２２  学習用画像取得部
２４，２２４  学習用データ記憶部
２６，２２６  学習部
２８，２２８  学習済みモデル記憶部
３０   検査用画像取得部
３１，２３１  画像処理部
３２   位置判定部
３４，２３４  検査部
４０   出力装置
１００，２００       鉄筋検査支援システム
【図１】
2019114146.tif 000003
【図２】
2019114146.tif 000004
【図３】
2019114146.tif 000005
【図４】
2019114146.tif 000006
【図５】
2019114146.tif 000007
【図６】
2019114146.tif 000008
【図７】
2019114146.tif 000009
【図８】
2019114146.tif 000010
【図９】
2019114146.tif 000011
【図１０】
2019114146.tif 000012
【図１１】
2019114146.tif 000013
【図１２】
2019114146.tif 000014
【図１３】
2019114146.tif 000015
【図１４】
2019114146.tif 000016
【図１５】
2019114146.tif 000017
【図１６】
2019114146.tif 000018
【図１７】
2019114146.tif 000019
【図１８】
2019114146.tif 000020
【図１９】
2019114146.tif 000021