(57)【要約】  内装材検査システム（１０）は、建築物に施工された第一内装材の画像を取得する画像取得部（１２）と、第一内装材が施工された部位を示す部位情報を取得する部位情報取得部（１６ａ）と、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部（１６ｂ）と、取得された画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する特定部（１６ｃ）と、特定された候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部（１６ｄ）とを備える。
2020066711.tif 000002
【特許請求の範囲】
【請求項１】
建築物に施工された第一内装材の画像を取得する画像取得部と、
前記第一内装材が施工された部位を示す部位情報を取得する部位情報取得部と、
取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部と、
取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する特定部と、
特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部とを備える
内装材検査システム。
【請求項２】
さらに、ユーザの操作を受け付ける操作受付部を備え、
前記部位情報取得部は、前記ユーザの操作によって入力される前記部位情報を取得する
請求項１に記載の内装材検査システム。
【請求項３】
さらに、
前記建築物の情報が記憶される記憶部と、
前記画像取得部の位置情報を取得する位置取得部とを備え、
前記部位情報取得部は、前記建築物の情報、及び、前記画像取得部の位置情報に基づいて前記部位情報を取得する
請求項１に記載の内装材検査システム。
【請求項４】
前記画像取得部は、複数の前記画像を取得し、
前記特定部は、取得された複数の前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する
請求項１〜３のいずれか１項に記載の内装材検査システム。
【請求項５】
複数の前記画像は、１回の撮影で得られた画像の分割によって得られる
請求項４に記載の内装材検査システム。
【請求項６】
複数の前記画像は、複数回の撮影によって得られる
請求項４に記載の内装材検査システム。
【請求項７】
さらに、前記画像が取得される際の撮影条件を取得する撮影条件取得部を備え、
前記特定部は、取得された前記画像、及び、当該画像が取得される際の前記撮影条件に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する
請求項１〜６のいずれか１項に記載の内装材検査システム。
【請求項８】
さらに、
前記画像が取得される際の撮影条件を取得する撮影条件取得部と、
取得された撮影条件に応じて、前記画像取得部の設定を変更する設定部とを備える
請求項１〜６のいずれか１項に記載の内装材検査システム。
【請求項９】
さらに、前記画像を取得する際の撮影条件をユーザに指示するための指示情報を表示する表示部を備える
請求項１〜８のいずれか１項に記載の内装材検査システム。
【請求項１０】
さらに、前記建築物に含まれる複数の部位のそれぞれに仕様上施工されるべき内装材を示す内装仕様情報が記憶された記憶部を備え、
前記判定部は、前記部位情報、及び、前記内装仕様情報に基づいて前記第二内装材を特定し、特定された前記候補内装材が特定された前記第二内装材であるか否かを判定する
請求項１〜９のいずれか１項に記載の内装材検査システム。
【請求項１１】
さらに、機械学習によって内装材の識別を行う識別機能が付与された複数の識別器を備え、
前記特定部は、前記複数の識別器のうち、選択された候補内装材を識別の対象とする識別器を選択的に用いることにより、前記第一内装材に相当する前記候補内装材を特定する
請求項１〜１０のいずれか１項に記載の内装材検査システム。
【請求項１２】
前記複数の識別器のそれぞれは、互いに撮影条件が異なる複数の画像を学習データとする前記機械学習によって前記識別機能が付与されている
請求項１１に記載の内装材検査システム。
【請求項１３】
建築物に施工された第一内装材の画像を取得し、
前記第一内装材が施工された部位を示す部位情報を取得し、
取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択し、
取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定し、
特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する
内装材検査方法。
【請求項１４】
請求項１３に記載の内装材検査方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マンションなどの建築物において使用される、内装材検査システム及び内装材の検査方法に関する。
【背景技術】
【０００２】
物体を撮影することによって得られる画像を検査等に用いる技術が知られている。このような技術に関連して、特許文献１には、物体の表面の凹凸、例えば物体の表面に施された梨地模様についてコントラストが強調された撮影画像を取得することができる撮影装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第６１１９７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、新築マンションの販売においては、床材及び壁クロスなどの内装材を顧客が選択できる場合があり、顧客への住居の引き渡し前に顧客が指定した内装材が正しく施工されているかを検査する必要がある。このような検査を画像に基づいて行う場合、顧客が選択可能な内装材の選択肢が多いほど検査精度が低下する傾向にある。【０００５】
本発明は、検査精度が向上された内装材検査システム、及び、内装材検査方法を提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る内装材検査システムは、建築物に施工された第一内装材の画像を取得する画像取得部と、前記第一内装材が施工された部位を示す部位情報を取得する部位情報取得部と、取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部と、取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定する特定部と、特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部とを備える。【０００７】
本発明の一態様に係る内装材検査方法は、建築物に施工された第一内装材の画像を取得し、前記第一内装材が施工された部位を示す部位情報を取得し、取得された前記部位情報に基づいて、前記建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択し、取得された前記画像に基づいて、選択された前記候補内装材の中から前記第一内装材に相当する前記候補内装材を特定し、特定された前記候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する。【０００８】
本発明の一態様に係るプログラムは、前記内装材検査方法をコンピュータに実行させるためのプログラムである。
【発明の効果】
【０００９】
本発明によれば、検査精度が向上された内装材検査システム、及び、内装材検査方法が実現される。
【図面の簡単な説明】
【００１０】
【図１】図１は、実施の形態に係る内装材検査システムの概要を説明するための図である。
【図２】図２は、判定結果の表示画面の一例を示す図である。
【図３】図３は、実施の形態に係る内装材検査システムの機能構成を示すブロック図である。
【図４】図４は、内装仕様情報の一例を示す図である。
【図５】図５は、特徴量情報の一例を示す図である。
【図６】図６は、内装材検査システムの動作のフローチャートである。
【図７】図７は、部位情報の入力画面の一例を示す図である。
【図８】図８は、判定結果の表示画面の別の一例を示す図である。
【図９】図９は、変形例１における候補画像の特定方法を説明するための図である。
【図１０】図１０は、変形例２における特徴量情報の一例を示す図である。
【図１１】図１１は、変形例３において表示される指示情報の一例を示す図である。
【図１２】図１２は、変形例３において表示される指示情報の別の一例を示す図である。
【図１３】図１３は、変形例４において用いられる識別部の機能構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下、実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００１２】
なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
【００１３】
（実施の形態１）
［概要］
まず、実施の形態に係る内装材検査システムの概要について説明する。図１は、実施の形態に係る内装材検査システムの概要を説明するための図である。
【００１４】
図１に示されるように、実施の形態１に係る内装材検査システム１０は、例えば、タブレット端末の形態で実現され、内装材の検査を行うユーザによって使用される。ここでの内装材の検査は、仕様通りの内装材が施工されているか否かの検査を意味する。
【００１５】
例えば、新築マンションの販売においては、様々な顧客の嗜好に対応するため、床材及び壁クロスなどの内装材に多くの選択肢が設けられている。したがって、顧客への住居の引き渡し前に顧客が指定した内装材が正しく施工されているかを検査する必要がある。内装材検査システム１０は、このような内装材の検査に用いられる。
【００１６】
なお、内装材は、床、壁、及び、天井などに使う仕上げ材及び下地材の総称である。内装材には、室内に直接面したフローリング、カーペット、タイル、壁クロス、合板、塗装材などの仕上げ材だけでなく、その下の下地材も含まれる。
【００１７】
内装材検査システム１０は、ユーザの操作により内装材の画像を取得すると、当該画像に映る内装材が仕様通りの内装材であるかを判定し、判定結果を表示部１５に表示する。図２は、判定結果の表示画面の一例を示す図である。
【００１８】
［構成］
以下、このような内装材検査システム１０の構成について説明する。図３は、内装材検査システム１０の機能構成を示すブロック図である。
【００１９】
図３に示されるように、内装材検査システム１０は、操作受付部１１と、画像取得部１２と、撮影条件取得部１３と、位置取得部１４と、表示部１５と、情報処理部１６と、記憶部１７とを備える。
【００２０】
操作受付部１１は、ユーザの操作を受け付ける。操作受付部１１は、タッチパネル、及び、ハードウェアボタンなどによって実現される。
【００２１】
画像取得部１２は、操作受付部１１によって撮影操作が受け付けられたときに、画像を取得（つまり、撮影）する。画像取得部１２は、例えば、ＣＭＯＳイメージセンサなどによって実現されるカメラである。画像取得部１２によって取得された画像は、記憶部１７に記憶される。なお、画像取得部１２は、画像取得部１２以外のカメラから画像を取得する通信インターフェースであってもよい。
【００２２】
撮影条件取得部１３は、画像取得部１２によって画像が取得される際の撮影条件を取得する。撮影条件は、例えば、画像取得部１２から被写体までの距離、画像取得部１２（内装材検査システム１０）の姿勢、画像取得部１２のズーム設定、及び、被写体周辺の明るさなどである。画像取得部１２の姿勢は、具体的には、パン、チルト、及び、ロールのそれぞれの角度などである。撮影条件取得部１３によって取得された撮影条件は、画像と対応付けて記憶部１７に記憶される。撮影条件取得部１３は、具体的には、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサなどの距離センサ、加速度センサ、ジャイロセンサ、及び、明るさセンサなどの各種センサによって実現される。
【００２３】
位置取得部１４は、画像取得部１２の位置情報を取得する。位置取得部１４が取得する位置は、３次元的な位置であるが、２次元的な位置であってもよい。また、位置情報には、画像取得部１２の姿勢（向き）を示す姿勢情報も含まれる。位置取得部１４は、加速度センサ、ジャイロセンサ、及び、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）モジュールなどによって実現される。
【００２４】
表示部１５は、情報処理部１６の制御に基づいて表示画面を表示する。表示部１５は、例えば、液晶パネルまたは有機ＥＬパネルなどを表示デバイスとして含むディスプレイである。
【００２５】
情報処理部１６は、画像取得部１２によって取得された画像に映る内装材が、仕様通りの内装材であるか否かの判定を行うための各種情報処理を行う。情報処理部１６は、例えば、マイクロコンピュータによって実現されるが、プロセッサによって実現されてもよい。情報処理部１６は、具体的には、部位情報取得部１６ａと、選択部１６ｂと、特定部１６ｃと、判定部１６ｄと、設定部１６ｅとを備える。これらの各構成要素が行う具体的な情報処理については後述される。
【００２６】
記憶部１７は、情報処理部１６が情報処理を行うために実行するプログラム、及び、当該情報処理に必要な情報が記憶される記憶装置である。記憶部１７は、例えば、半導体メモリによって実現される。記憶部１７に記憶される情報は、例えば、建築物情報１７ａ、内装仕様情報１７ｂ、及び、特徴量情報１７ｃなどである。
【００２７】
建築物情報１７ａは、建築物の情報の一例であり、建築物全体の間取りを示す情報である。内装仕様情報１７ｂは、建築物に含まれる複数の住戸それぞれにおける内装の仕様（あるべき姿）を示す情報である。図４は、内装仕様情報１７ｂの一例を示す図である。
【００２８】
内装仕様情報１７ｂは、建築物に含まれる複数の部位のそれぞれに仕様上施工されるべき内装材を示す情報である。図４に示されるように、内装仕様情報は、具体的には、住戸の番号、当該住戸に含まれる部屋、各部屋における部位、当該部位に施工されるべき内装材の種別及び識別情報（例えば、品番）が対応付けられた情報である。
【００２９】
特徴量情報１７ｃは、画像取得部１２によって取得された画像の照合の対象となる画像特徴量（以下、単に特徴量と記載される）を、内装材の識別情報ごとに複数含む情報である。図５は、特徴量情報１７ｃの一例を示す図である。図５に示されるように、特徴量情報においては、１つの内装材の識別情報に対して複数の特徴量が対応付けられている。また、内装材の識別情報は、内装材が施工される部位（施工部位とも記載される）ごとにグルーピングされている。
【００３０】
［動作］
次に、内装材検査システムの動作について説明する。図６は、内装材検査システムの動作のフローチャートである。なお、以下の動作では、建築物に実際に施工されている内装材が第一内装材と記載され、仕様上、建築物に施工されるべき内装材（つまり、正しい内装材）が第二内装材と記載される。
【００３１】
まず、画像取得部１２は、建築物に施工された第一内装材の画像を取得する（Ｓ１１）。画像取得部１２は、具体的には、操作受付部１１によって撮影操作が受け付けられたときに画像を取得する。画像取得部１２によって取得された画像は、例えば、記憶部１７に記憶される。
【００３２】
次に、部位情報取得部１６ａは、第一内装材が施工された部位を示す部位情報を取得する（Ｓ１２）。部位情報取得部１６ａは、例えば、ユーザの操作によって入力される部位情報を取得する。図７は、部位情報の入力画面の一例を示す図である。図７の例では、部位情報として、集合住宅の住戸番号、住戸における部屋（リビング、ダイニング、または、キッチンなど）、及び、部屋における部位（壁、床、または、天井など）が入力される。
【００３３】
なお、部位情報が入力されることは必須ではなく、ステップＳ１２において、部位情報取得部１６ａは、記憶部１７に記憶された建築物情報１７ａ、及び、位置取得部１４によって取得される画像取得部１２の位置情報に基づいて情報処理を行うことにより、部位情報を取得してもよい。
【００３４】
上述のように、建築物情報１７ａは、建築物全体の間取り情報である。位置取得部１４は、建築物情報１７ａと位置情報に含まれる３次元位置情報とを照合することにより、画像取得部１２がどの住戸のどの部屋に位置するかを特定することができる。また、位置取得部１４は、位置情報に含まれる画像取得部１２の姿勢情報に基づいて、画像取得部１２の被写体の位置、つまり、第一内装材が施工された部位を特定することができる。
【００３５】
次に、選択部１６ｂは、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する（Ｓ１３）。選択部１６ｂは、具体的には、記憶部１７に記憶された特徴量情報１７ｃに含まれる内装材のうち、部位情報が示す部位に施工される内装材を候補内装材として選択する。
【００３６】
例えば、部位情報が示す部位が壁である場合には、特徴量情報１７ｃに含まれる内装材のうち施工部位が壁である内装材を候補内装材として選択し、施工部位が壁以外の内装材は候補内装材から除かれる。このように、選択部１６ｂは、部位情報に基づいて内装材の絞り込みを行う。
【００３７】
次に、特定部１６ｃは、ステップＳ１１において取得された第一内装材の画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する（Ｓ１４）。特定部１６ｃは、具体的には、記憶部１７に記憶された第一内装材の画像の特徴量を抽出し、特徴量情報１７ｃに含まれる候補内装材の特徴量のそれぞれと照合する。特定部１６ｃは、最も類似度の高い候補内装材を第一内装材に相当する候補内装材として特定する。
【００３８】
次に、判定部１６ｄは、取得された部位情報、及び、記憶部１７に記憶された内装仕様情報１７ｂに基づいて第二内装材を特定する（Ｓ１５）。判定部１６ｄは、具体的には、内装仕様情報１７ｂを参照することにより、部位情報が示す部位に対応付けられた内装材を第二内装材として特定する。
【００３９】
次に、判定部１６ｄは、ステップＳ１４において特定された候補内装材が、ステップＳ１５において特定された第二内装材であるか否かを判定する（Ｓ１６）。判定部１６ｄは、具体的には、候補内装材の識別情報と、第二内装材の識別情報とが一致するか否かを判定する。
【００４０】
判定部１６ｄは、候補内装材が第二内装材であると判定した場合、施工された第一内装材が正しい内装材であることを示す判定結果を出力する（Ｓ１７）。この結果、表示部１５には、図２に示されるような画像が表示される。一方、判定部１６ｄは、候補内装材が第二内装材ではないと判定した場合、施工された第一内装材が誤った内装材であることを示す判定結果を出力する（Ｓ１８）。この結果、表示部１５には、図８に示されるような画像が表示される。図８は、判定結果の表示画面の別の一例を示す図である。
【００４１】
以上のような動作によれば、内装材検査システム１０は、部位情報に基づいて建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する（つまり、内装材の絞り込みを行う）ことで、第一内装材に相当する候補内装材を特定するための情報処理量を低減することができる。情報処理量が低減されれば、検査時間（例えば、画像を取得してから判定結果の表示画面が表示されるまでの時間）を短縮することができる。
【００４２】
［変形例１］
図６のフローチャートのステップＳ１１においては複数の画像が取得され、ステップＳ１４においては複数の画像に基づいて第一内装材に相当する候補内装材が特定されてもよい。
【００４３】
例えば、ステップＳ１１において、複数回の撮影により複数の第一内装材の画像が取得される。ステップＳ１４においては、このような複数の第一内装材の画像を用いて候補内装材が特定される。図９は、変形例１における候補画像の特定方法を説明するための図である。
【００４４】
まず、複数の第一内装材の画像のそれぞれについて、最も類似度の高い候補内装材が特定される。そして、特定された候補内装材のうち数の最も多い候補内装材が最終的な候補内装材として特定される。
【００４５】
また、ステップＳ１１においては、１回の撮影により得られた第一内装材の画像が領域分割されることにより複数の画像が取得されてもよい。この場合もステップＳ１４においては多数決によって第一内装材に相当する候補内装材が特定される。なお、画像の領域分割においては、収差が少ないと考えられる画像の中央部のみが分割の対象とされてもよい。
【００４６】
このように、複数の第一内装材の画像が用いられれば、特徴量の照合における誤判定（言い換えれば、第一内装材に相当する候補内装材の特定ミス）の発生を低減することができる。
【００４７】
［変形例２］
図６のフローチャートのステップＳ１１においては、画像に加えて、当該画像が撮影される際の撮影条件が取得されてもよい。撮影条件は、撮影条件取得部１３によって取得される。撮影条件は、例えば、画像取得部１２から被写体までの距離、画像取得部１２の姿勢、及び、被写体周辺の明るさなどである。撮影条件取得部１３によって取得された撮影条件は、画像と対応付けて記憶部１７に記憶される。
【００４８】
特徴量情報１７ｃにおいては、１つの内装材の識別情報に、当該内装材を互いに異なる撮影条件で撮影することによって得られる複数の画像に基づく複数の特徴量が対応付けられる。つまり、特徴量が撮影条件ごとにグループ化されている。図１０は、変形例２における特徴量情報１７ｃの一例を示す図である。
【００４９】
ステップＳ１４においては、特定部１６ｃは、取得された画像、及び、当該画像が取得される際の撮影条件に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する。具体的には、特徴量情報１７ｃに含まれる候補内装材の特徴量のうち、ステップＳ１１において取得された撮影条件に最も近い撮影条件（撮影条件１〜ｍのいずれか）に属する特徴量が照合の対象とされる。これにより、特徴量の照合における、撮影条件の差に起因する誤判定の発生を抑制することができる。
【００５０】
また、撮影条件取得部１３によって取得された撮影条件に応じて画像取得部１２の設定が変更されてもよい。例えば、設定部１６ｅは、撮影条件によって示される画像取得部１２から被写体までの距離に応じて、内装材が所定の大きさで画像に映るように画像取得部１２のズーム設定を変更してもよい。また、設定部１６ｅは、撮影条件によって示される被写体周辺の明るさに応じて、内装材が所定の明るさで撮影されるように、シャッタースピード（露光時間）の設定、または、Ｆ値（絞り）の設定を変更してもよい。また、設定部１６ｅは、第一内装材が映る画像の撮影時に、ズーム設定、シャッタースピードの設定、及び、Ｆ値の設定などをユーザが変更できないように固定してもよい。
【００５１】
このように、設定部１６ｅは、取得された撮影条件に応じて、画像取得部１２の設定（具体的には、カメラパラメータの設定）を変更する。これにより、第一内装材が映る画像が特徴量の照合に適した条件で撮影される。したがって、内装材検査システム１０は、特徴量の照合における、撮影条件の差に起因する誤判定の発生を抑制することができる。
【００５２】
［変形例３］
図６のフローチャートのステップＳ１１において画像が取得される際には、表示部１５は、画像を取得する際の撮影条件をユーザに指示するための指示情報を表示してもよい。例えば、画像取得部１２（内装材検査システム１０）の姿勢（パン、チルト、及び、ロールの角度）が指示情報として表示されてもよい。図１１は、変形例３において表示される指示情報の一例を示す図である。
【００５３】
図１１の例では、パン、チルト、及び、ロールの角度のそれぞれと、これらの角度が満たすべき所定の角度範囲（例えば、±５ｄｅｇ）とが指示情報として表示されている。つまり、図１１の例では、指示情報は、画像取得部１２の姿勢をユーザに指示するための情報である。表示部１５は、位置取得部１４によって取得される姿勢情報に基づいて、パン、チルト、及び、ロールの角度を表示することができる。なお、指示情報は、リアルタイムに更新される。
【００５４】
このような指示情報によれば、ユーザは、画像取得部１２の姿勢を所定の状態に保った状態で第一内装材の画像を取得することができる。したがって、特徴量の照合における、撮影時の画像取得部１２の姿勢のばらつきに起因する誤判定の発生を抑制することができる。
【００５５】
なお、表示部１５に表示されるパン、チルト、及び、ロールの角度のそれぞれは、所定の角度範囲内であるときと、そうでないときとで表示態様が変更されてもよい。表示態様は、例えば、文字の色などである。これにより、ユーザは、パン、チルト、及び、ロールの角度のそれぞれが所定の角度範囲内であるか否かを容易に認識することができる。また、内装材検査システム１０は、パン、チルト、及び、ロールの角度のそれぞれが所定の角度範囲内であるときのみ画像の取得が可能な構成であってもよい。
【００５６】
なお、図１１のように、画像取得部１２の姿勢が数値で表示されることは必須ではない。図１２は、変形例３において表示される指示情報の別の一例を示す図である。
【００５７】
図１２の例では、表示部１５には、ボール及び所定の円が表示され、ボールの位置は、画像取得部１２の姿勢に応じて移動する。指示情報は、表示されたボールを所定の円の中に入れた状態で撮影することをユーザに指示する。このような指示情報によれば、ユーザは、直感的に画像取得部１２の姿勢を所定の状態にすることができる。
【００５８】
また、指示情報は、画像取得部１２の姿勢以外の他の撮影条件を指示する情報であってもよい。他の撮影条件は、画像取得部１２から被写体までの距離、及び、被写体周辺の明るさなどである。
【００５９】
［変形例４］
図６のフローチャートのステップＳ１４においては、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）などの機械学習に基づいて分類スコアを出力する識別部を用いて第一内装材に相当する候補内装材が特定されてもよい。図１３は、変形例４において用いられる識別部の機能構成を示すブロック図である。
【００６０】
図１３に示されるように、識別部１８は、複数の識別器を有する。複数の識別器のそれぞれは、機械学習によって内装材の識別機能が付与された識別器である。複数の識別器は、複数の施工部位に対応しており、例えば、識別器１８ａは、壁に対応する識別器であり、壁クロスを識別の対象とする識別器である。識別器１８ａは、入力された画像に映る第一内装材が壁クロスＡ〜Ｍのいずれである可能性が高いかを分類スコアとして出力する。同様に、識別器１８ｂは、床に対応する識別器であり、識別器１８ｃは、天井に対応する識別器である。なお、各識別器においてあらかじめ行われる機械学習においては、距離、カメラ姿勢、撮影時の照明の色温度、位置ずれなどの撮影条件が互いに異なる複数の画像が学習データとして用いられる。
【００６１】
以下、このような識別部１８を用いた動作について図１３に加えて図６を参照しながら説明する。図６のステップＳ１４において、特定部１６ｃは、識別部１８に含まれる複数の識別器のうち、ステップＳ１３において選択された候補内装材を識別の対象とする識別器を選択的に用いる。例えば、選択された候補内装材が壁クロスである場合には、複数の識別器のうち壁に対応する識別器１８ａが用いられる。このように、変形例４では、選択部１６ｂによって候補内装材が選択されることで識別器が絞り込まれる。
【００６２】
ステップＳ１１において取得された第一内装材の画像が選択された識別器に入力されると、当該識別器からは分類スコアが出力される。特定部１６ｃは、選択された識別器から出力される分類スコアに基づいて、分類スコアの最も高い候補内装材を第一内装材に相当する候補内装材として特定する。
【００６３】
以上説明したように、内装材検査システム１０は、機械学習によって内装材の識別を行う識別機能が付与された識別部１８（複数の識別器）を備えてもよい。特定部１６ｃは、複数の識別器のうち、選択部１６ｂによって選択された候補内装材を識別の対象とする識別器を用いることにより、第一内装材に相当する候補内装材を特定する。この場合、記憶部１７に特徴量情報１７ｃが記憶される必要はない。
【００６４】
［効果等］
以上説明したように、内装材検査システム１０は、建築物に施工された第一内装材の画像を取得する画像取得部１２と、第一内装材が施工された部位を示す部位情報を取得する部位情報取得部１６ａと、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択する選択部１６ｂと、取得された画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する特定部１６ｃと、特定された候補内装材が、仕様上前記部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する判定部１６ｄとを備える。
【００６５】
このような内装材検査システム１０は、部位情報に基づいて建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択することで、検査精度を向上することができる。また、内装材検査システム１０は、第一内装材に相当する候補内装材を特定するための情報処理量を低減することができる。
【００６６】
また、例えば、内装材検査システム１０は、さらに、ユーザの操作を受け付ける操作受付部１１を備える。部位情報取得部１６ａは、ユーザの操作によって入力される部位情報を取得する。
【００６７】
このような内装材検査システム１０は、ユーザの操作によって部位情報を取得することができる。
【００６８】
また、例えば、内装材検査システム１０は、さらに、建築物情報１７ａが記憶される記憶部１７と、画像取得部１２の位置情報を取得する位置取得部１４とを備える。部位情報取得部１６ａは、建築物情報１７ａ、及び、画像取得部１２の位置情報に基づいて部位情報を取得する。
【００６９】
このような内装材検査システム１０は、建築物情報１７ａ、及び、画像取得部１２の位置情報に基づいて部位情報を取得することができる。
【００７０】
また、変形例１では、画像取得部１２は、複数の画像を取得し、特定部１６ｃは、取得された複数の画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する。
【００７１】
このような内装材検査システム１０は、複数の画像に基づいて第一内装材に相当する候補内装材を特定することにより、第一内装材に相当する候補内装材の特定ミスの発生を低減することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
【００７２】
また、例えば、上記複数の画像は、１回の撮影で得られた画像の分割によって得られる。
【００７３】
このような内装材検査システム１０は、１回の撮影によって得られた複数の画像に基づいて第一内装材に相当する候補内装材を特定することにより、第一内装材に相当する候補内装材の特定ミスの発生を低減することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
【００７４】
また、例えば、上記複数の画像は、複数回の撮影によって得られる。
【００７５】
このような内装材検査システム１０は、撮影条件が異なる複数の画像、あるいは、内装材のうちの撮影対象となる部分が異なる複数の画像などに基づいて第一内装材に相当する候補内装材を特定することができる。これにより、内装材検査システム１０は、第一内装材に相当する候補内装材の特定ミスの発生を低減することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
【００７６】
また、変形例２では、内装材検査システム１０は、さらに、画像が取得される際の撮影条件を取得する撮影条件取得部１３を備え、特定部１６ｃは、取得された画像、及び、当該画像が取得される際の撮影条件に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定する。
【００７７】
このような内装材検査システム１０は、画像が取得される際の撮影条件を考慮して第一内装材に相当する候補内装材を特定することで、撮影条件の差に起因する、第一内装材に相当する候補内装材の特定ミスの発生を抑制することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
【００７８】
また、変形例２では、内装材検査システム１０は、さらに、画像が取得される際の撮影条件を取得する撮影条件取得部１３と、取得された撮影条件に応じて、画像取得部１２の設定を変更する設定部１６ｅとを備える。
【００７９】
これにより、第一内装材が映る画像が特徴量の照合に適した条件で撮影されれば、特徴量の照合における、撮影条件の差に起因する誤判定の発生を抑制することができる。
【００８０】
また、変形例３では、内装材検査システム１０は、さらに、画像を取得する際の撮影条件をユーザに指示するための指示情報を表示する表示部１５を備える。
【００８１】
このような内装材検査システム１０は、指示情報によって撮影条件を指示することにより画像の撮影条件のばらつきを抑制することができる。言い換えれば、内装材検査システム１０は、撮影条件の差に起因する、第一内装材に相当する候補内装材の特定ミスの発生を抑制することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
【００８２】
また、例えば、内装材検査システム１０は、さらに、建築物に含まれる複数の部位のそれぞれに仕様上施工されるべき内装材を示す内装仕様情報１７ｂが記憶された記憶部１７を備え、判定部１６ｄは、部位情報、及び、内装仕様情報１７ｂに基づいて第二内装材を特定し、特定された候補内装材が特定された第二内装材であるか否かを判定する。
【００８３】
このような内装材検査システム１０は、部位情報に基づいて第二内装材を特定することができる。
【００８４】
また、変形例４では、内装材検査システム１０は、さらに、機械学習によって内装材の識別を行う識別機能が付与された複数の識別器を備え、特定部１６ｃは、複数の識別器のうち、選択された候補内装材を識別の対象とする識別器を選択的に用いることにより、第一内装材に相当する候補内装材を特定する。
【００８５】
このような内装材検査システム１０は、識別器を用いて第一内装材に相当する候補内装材を特定することができる。
【００８６】
また、変形例４では、複数の識別器のそれぞれは、互いに撮影条件が異なる複数の画像を学習データとする機械学習によって識別機能が付与されている。
【００８７】
このような内装材検査システム１０は、撮影条件の差に起因する、第一内装材に相当する候補内装材の特定ミスの発生を抑制することができる。つまり、内装材検査システム１０は、検査精度を向上することができる。
【００８８】
また、内装材検査システム１０などのコンピュータが実行する内装材検査方法は、建築物に施工された第一内装材の画像を取得し、第一内装材が施工された部位を示す部位情報を取得し、取得された部位情報に基づいて、建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択し、取得された画像に基づいて、選択された候補内装材の中から第一内装材に相当する候補内装材を特定し、特定された候補内装材が、仕様上部位に施工されるべき第二内装材であるか否かを判定し、判定結果を出力する。
【００８９】
このような内装材検査方法は、部位情報に基づいて建築物に施工される可能性のある内装材のうちの一部を候補内装材として選択することで、検査精度を向上することができる。また、内装材検査システム１０は、第一内装材に相当する候補内装材を特定するための情報処理量を低減することができる。
【００９０】
（その他の実施の形態）
以上、実施の形態について説明したが、本発明は、上記実施の形態に限定されるものではない。例えば、上記実施の形態において、変形例１〜４は任意に組み合わされてよい。
【００９１】
また、上記実施の形態では、内装材検査システムは、単一の装置として実現されたが、複数の装置によって実現されてもよい。内装材検査システムが複数の装置によって実現される場合、上記実施の形態で説明された内装材検査システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。
【００９２】
例えば、内装材検査システムは、クライアントサーバシステムとして実現されてもよい。この場合、クライアント装置は、画像の取得、ユーザの操作の受け付け、及び、判定結果の表示などを行う携帯端末であり、サーバ装置は、特徴量の照合などの画像を用いた情報処理を行う情報端末である。また、内装材検査システムは、建築物内を移動するロボット型の端末として実現されてもよい。
【００９３】
また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【００９４】
また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【００９５】
また、各構成要素は、ハードウェアによって実現されてもよい。各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
【００９６】
また、本発明の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【００９７】
例えば、本発明は、内装材検査システムなどのコンピュータによって実行される内装材検査方法として実現されてもよい。また、本発明は、内装材検査方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。
【００９８】
その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
【符号の説明】
【００９９】
１０  内装材検査システム
１１  操作受付部
１２  画像取得部
１３  撮影条件取得部
１４  位置取得部
１５  表示部
１６  情報処理部
１６ａ  部位情報取得部
１６ｂ  選択部
１６ｃ  特定部
１６ｄ  判定部
１７  記憶部
１７ａ  建築物情報
１７ｂ  内装仕様情報
１７ｃ  特徴量情報
１８  識別部
１８ａ、１８ｂ、１８ｃ  識別器
【図１】
2020066711.tif 000003
【図２】
2020066711.tif 000004
【図３】
2020066711.tif 000005
【図４】
2020066711.tif 000006
【図５】
2020066711.tif 000007
【図６】
2020066711.tif 000008
【図７】
2020066711.tif 000009
【図８】
2020066711.tif 000010
【図９】
2020066711.tif 000011
【図１０】
2020066711.tif 000012
【図１１】
2020066711.tif 000013
【図１２】
2020066711.tif 000014
【図１３】
2020066711.tif 000015
【国際調査報告】
2020066711.tif 000016
2020066711.tif 000017