情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-792024/2/28

相対的なパーツの位置関係を用いた
情報量の少ない対象に対する自動位置合わせ手法の開発
大澤 想†1 上船 智也†1 中川 愛梨†1 加島 隆博†1
概要：本研究では制御盤点検作業向けの変化点検出システム実現のため，撮影時のノイズを多く含む対象で，かつ似た特徴や配置が多く，情報量が少ないことも多い対象である制御盤に対し，高精度な画像ペアの位置合わせを実現する新たな位置合わせ手法を開発した．盤のパーツの相対的な位置関係が一意に決まることに着目し，相対的な位置関係を元に，対象となる盤の画像ペアの高精度な位置合わせを実現した．また開発した手法を情報量や盤のパーツの状態変化の観点から評価し，その特性についての考察を行った．

1. はじめに[6]もあるが，近くの配置や特徴も類似する場合には誤対応を除去しきれない．また，制御盤には盤上にランプが 1 つ

制御盤での点検作業において，基準となる状態と比較し2 つしかないような極めて情報量が少ない盤も多く存在すて変化点を検出することは重要な意味を持つ．基準状態かる（図 1 右）．このように，そもそも画像に情報量が少ないら正しく操作されたか，作業後に復旧漏れがないかといっ場合には特徴点が十分検出できないという課題もある．

た確認が人災の防止に繋がるため，現状では確実な作業遂

そこで本研究では撮影時のノイズを多く含み，かつ似た行のために大きな労力を要している．こうした点検作業を特徴や配置が多く，情報量が少ないことも多い対象である

支援するための 1 つの手段として，タブレット等のカメラ制御盤に対し，精度の高い位置合わせを実現する手法を開を用いた点検システムがある．タブレットによる点検シス発した．本手法により制御盤画像ペアの比較を可能にし，テムは，導入コストが比較的低く，様々な点検作業の DX

タブレット点検システムにおける変化点検出を実現できる．

化に繋がる汎用性もあり，点検業務の支援向けに既に実用化もされている[1]．こうしたシステムにおいて変化点の検出を実現するためには，2 枚のカメラ画像同士の位置合わせ（レジストレーション）が重要な課題の 1 つとなる．
一般に，画像同士の比較や位置合わせ等に良く用いられ

図 1

対象となる制御盤の特徴的な例

る手法にはテンプレートマッチング[2]や画像全体の特徴である大域特徴量を用いた手法[3,4]，画像の部分的特徴である局所特徴量を用いた手法[5]等がある．しかしながら，本研究で対象とする制御盤の点検支援においては，盤の前2. 対応付けを失敗しやすい対象や特徴の少な
い対象の位置合わせに関する先行研究に固定カメラを置くことが困難なことも多く，人手で撮影情報量が少ない対象に対しては，Dense Sampling[7]と呼せざるを得ない場面が多くある．そのため撮影された画像ばれる手法が有効である．Dense Sampling では，一定の特は，撮影位置や角度，構図等の変化を含む．加えて，照明徴を持つ点を抽出して特徴点とするのではなく，画像上にや周辺物体の配置等の環境条件の変化や，スイッチの ON・格子状に点を配置する等して確実に一定量の特徴点を確保

OFF やランプ点灯パターン等，制御盤の各パーツ自体の微する手法である．しかしながら，本研究のように似た配置小変化もあり，多くのノイズも含む．テンプレートマッチパターンを多く持つ対象物に対しては，特徴点の誤対応がングや大域特徴量はこうした変動に弱く，十分な位置合わ発生する課題が残る．加えて，情報量があまりに少ない箇せ精度を得られないことが懸念される．一方で，局所特徴所に関しては特徴点を配置しても対応を考えるうえで有効量はこうした変動には強い．ただし制御盤においては，主な特徴とならない可能性も高い．似た配置パターンを持つに無彩色の背景に対してランプやスイッチなどのパーツが特徴点の誤対応を減らす方法として，既に述べた[6]の他，存在する形態のものが多く，各パーツも規格化され，似たオプティカルフローの方向や大きさ，射影変換性，エピポパーツや全く同じパーツが同一盤上に，同じような配置でーラ線拘束等の大域的な整合性に着目した手法[8]が研究存在することも少なくない（図 1 左）．このように似た特徴されている．こうした手法では，多くの特徴点パターンかや配置パターンが多い場合，局所特徴量を用いた場合には，ら整合性を計算するため，正しい対応を持つ特徴点ペアが似た特徴同士の誤対応が発生して位置合わせ精度が低減す一定数検出されている必要がある．そのため，情報量が少る．ある特徴点の近傍の特徴点や類似度の高い特徴点等のない場合や誤対応の割合が多すぎる場合には適応が難しい．

情報を用いることで，似た特徴点の誤対応を除外する手法

似た配置パターンを持つ対象への位置合わせ手法に関連し†1 三菱電機(株) 情報技術総合研究所© 2024 Information Processing Society of Japan539

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-79
2024/2/28て，繰り返しのパターンをもつ対象の位置合わせ手法[9]もを実施する．具体的な手順は図 2 である．まず入力画像に研究されているが，これはレンガ壁のような密度の高い繰対して輪郭を抽出する（輪郭抽出処理）．その輪郭の重心をり返しパターンの領域を検出した上で，その領域とその他元に各パーツの相対位置ベクトルを計算する（相対位置ベの領域とを分けて誤対応を減らす手法である．よって，似クトル計算）．ここで，相対位置ベクトルとは，あるパーツた特徴や配置パターンを持つものの，繰り返しパターンとに着目した時に，そのパーツから各パーツへの重心間のベまでは言えない制御盤では適用が難しい．特徴点を使わなクトルを輪郭のサイズで規格化したものである．各パーツ

い，あるいは特徴点と併用することで精度を向上できる手に定義された相対位置ベクトルを比較することで，パーツ法として，輪郭マッチング[10]や特徴線[11]による位置合わ同士のマッチング（対応点判定）を行い，パーツの対応付せ手法も研究されている．獲得できる特徴点が少なくてもけに基づいて画像全体の位置合わせ（位置合わせ画像生成）位置合わせ精度の向上が期待できるが，やはり似た輪郭やを実施する．以下では，各フェーズの詳細を説明する．

配置を持つパーツが多く存在すると誤対応が多くなってしまう課題が残る．以上のような課題から，制御盤の位置合わせにおいては，制御盤輪郭や外枠の四隅をテンプレート
図 2マッチング等で特定することで盤面全体の位置合わせを実提案手法の処理フロー現したり[12]，制御盤に AR マーカや特徴的なロゴを入れ込んだり[13]する方法が採用されることも多い．しかし，こ3.2 輪郭抽出処理

うした手法は実運用上の手間や導入コストが増加する問題

画像ペアから盤に存在するランプやスイッチ等のパーツがある．そこで本手法では，輪郭マッチングと大局的な整の輪郭抽出を行う（図 3）．まず入力画像に対して，Sauvola合性を用いた手法を参考に，各パーツの相対的な位置関係法[14]で影や背景ムラを除去し，Canny 法[15]でエッジ抽出を用いて自動位置合わせを行う新たな手法を提案する．

を行う．獲得されたエッジ画像に対して，モルフォロジー処理による画素拡張を実施した後に，Suzuki85 アルゴリズ

3. 相対位置関係による位置合わせ手法の提案
3.1 提案手法の概要
位置合わせ対象の画像ペアでは，各パーツや局所的な配ム[16]で輪郭を検出する．この時点で抽出された輪郭には，小さなノイズや，盤の白いラインのエッジなどパーツとして独立していない輪郭が存在する．こうした輪郭は相対位置ベクトルを計算する上でノイズとなるため，凸包計算で置は似ていても，その画像全体でのパーツ配置は一意に決

特定の閉じた輪郭のみ抽出する．この際，まると考えられる．例えば図 2 左の 2 枚の画像ペアに着目①

すると，画像の左上のランプパーツにとっては，その下，盤のパーツの最外輪郭は独立している= 凸包で周囲の輪郭を他のパーツと被りなく囲える右，右下にそれぞれランプパーツが存在する．これは，ど② 撮影された画像に対して適度なサイズ感を持つちらの画像においても同様である．一方で，画像の右上の②

ランプパーツにとっては，周辺のパーツは下，左，左下にを抽出するパーツの特徴として仮定し，凸包として成立し存在し，配置関係が画像の左上のランプパーツとは異なる．

ないもの，各凸包のサイズが画像に対して大きすぎるもの

加えて，撮影位置や角度，構図，環境条件，各パーツ自体や小さすぎるもの（画像面積[pix]に対して 1/1000～1/4 のの微小な変化等の多くのノイズを含んでいても，およそ盤み採用した），各凸包の縦横比が一方に大きすぎるもの（縦の正面から似た構図で撮影されていれば，相対的なパーツ横比 0.6～1.6 のみ採用した）は除外する．これにより，獲間の距離や位置関係には大きな変化は起こらない．さらに得した輪郭画像のノイズの中から，制御盤のパーツの最外情報量が少ない場合でも，点検対象の盤にはパーツが必ず輪郭のみを抽出する．

円や正方形など縦横比がほぼ同じである

1 つ以上存在するため，周囲に何もない状態も 1 つの位置関係と考えれば，その位置関係を必ず計算可能である．これに着目し，盤の各パーツを抽出してその相対的な位置関係をベクトルとして扱うことで，画像ペアのパーツの相対位置関係に基づく対応付けを行う．そしてパーツ同士の対応付けを元に，画像全体での位置合わせを行う．パーツごとに対応を考えず，パーツ配置全体の特徴を用いて配置が最も合うように画像全体の位置合わせを行うことも可能であるが，ノイズによる微妙なパーツ位置関係の変化やパー

図 3

輪郭抽出処理のフロー

3.3 相対位置ベクトル計算

ツの誤検出，パーツの抽出漏れや画像上のパーツの見切れ

画像ペア（以下，区別のために入力画像，参照画像と呼等に弱くなると考えられるため，パーツごとのマッチングぶ）に対して，相対位置ベクトルの計算を行う．まず抽出© 2024 Information Processing Society of Japan540

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-79
2024/2/28

した各輪郭の重心を求める．この輪郭重心の集合を，入力つまり画像が引きで撮られてパーツが小さく写っている場

画像の輪郭重心の集合𝑀𝑖 ，参照画像の輪郭重心の集合𝑀𝑟 と合と，寄りで撮られて大きく写っている場合で値が異なっする（図 4 中央）．ここでターゲットとして，ある 1 つの輪てしまい，撮影距離等にロバストではない．そこで，盤面郭重心𝑚𝑡 に着目する．輪郭重心𝑚𝑡 に対して，他の輪郭重心のパーツサイズが同程度であると仮定し，着目したパーツが存在する場合にはその重心間ベクトルを求める．この重のサイズで規格化を行う．𝐷𝑥𝑦𝑘𝑚𝑖𝑛 は以下の式(5, 6)で表せる．

心間ベクトルを輪郭重心𝑚𝑡 の輪郭のサイズで割り，大きさを規格化する．規格化した全ての重心への重心間ベクトル|(𝐷𝑥𝑦𝑘𝑚𝑖𝑛 =⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗
𝑚𝑘 −𝑚𝑚𝑘−𝑚𝑥𝑟 ⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗𝑦𝑖𝑟)𝑆𝑖𝑧𝑒(𝑚𝑦𝑖 )|− 𝑖𝑚𝑖𝑛𝑆𝑖𝑧𝑒(𝑚𝑥𝑟 )𝑆𝑖𝑧𝑒(𝑚𝑦 )𝑖𝑆𝑖𝑧𝑒(𝑚𝑦𝑖 )の集合を，重心𝑚𝑡 の輪郭に対する相対位置ベクトル𝑅𝑃𝑡 の集合とする．入力画像，参照画像それぞれで着目した輪郭
重 心 𝑚𝑡 𝑖 , 𝑚𝑡 𝑟 の 輪 郭 に 対 す る 相 対 位 置 ベ ク ト ル の 集 合= min {|⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗
𝑚𝑘𝑟 −𝑚𝑥𝑟
Size(mxr )−⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗
mki −myiSize(myi )|・・・(5)| mki ∈ Mi }・・・(6)𝑅𝑃𝑡𝑖 , 𝑅𝑃𝑡𝑟 は以下の式(1, 2)で表せる（図 4 右）．

その後𝐷𝑥𝑦𝑘𝑚𝑖𝑛 が閾値（0.8 と設定した）より小さいものを⃗⃗⃗⃗⃗⃗⃗⃗𝑚𝑘𝑖 −⃗⃗⃗⃗⃗⃗⃗⃗𝑚 𝑡𝑖

全ての k に対してカウントする．輪郭重心𝑚𝑥𝑟 と入力画像

𝑅𝑃𝑡𝑖 = {𝑆𝑖𝑧𝑒(𝑚𝑡𝑖 )⃗⃗⃗⃗⃗⃗⃗⃗⃗𝑚𝑘𝑟 −⃗⃗⃗⃗⃗⃗⃗⃗⃗𝑚 𝑡𝑟

𝑅𝑃𝑡𝑟 = {𝑆𝑖𝑧𝑒(𝑚𝑡𝑟 )| 𝑚𝑘𝑖 ∈ 𝑀𝑖 } ・・・(1)| 𝑚𝑘𝑟 ∈ 𝑀𝑟 } ・・・(2)の輪郭重心𝑚𝑦𝑖 を対応付けた時のカウント数を𝑁𝑥𝑦 と定義する（図 5 下）．𝑁𝑥𝑦 は，参照画像の輪郭重心𝑚𝑥𝑟 と入力画像の輪郭重心𝑚𝑦𝑖 を対応付けた場合に，同方角・距離の場所全ての輪郭重心に対して，同様の方法で相対位置ベクトルに存在する輪郭の数を表し，数が大きい程周囲のパーツ配集合の計算を行う．輪郭のサイズは，輪郭の高さを用いた．

置が似た輪郭であることを意味する．参照画像の要素𝑘𝑟 の数が入力画像の要素𝑘𝑖 の数より多い場合，対応のない要素𝑘𝑖 に着目して，同様に𝑅𝑃𝑃𝑥𝑦 の要素𝑘𝑟𝑚𝑖𝑛 を対応させ𝐷𝑥𝑦𝑘𝑚𝑖𝑛を計算する．𝐷𝑥𝑦𝑘𝑚𝑖𝑛 を全ての要素 k で平均した値を参照画像の輪郭重心𝑚𝑥𝑟 と入力画像の輪郭重心𝑚𝑦𝑖 を対応付けた

図 4

重心の集合と相対位置ベクトルの集合際の相対位置ベクトルの集合のズレ𝐷𝑥𝑦 とする（図 5 下）．
全ての参照画像と入力画像の輪郭重心の組み合わせに対して同様の処理で𝑁𝑥𝑦 を計算し，𝑁𝑥𝑦 が最大となる組み合わ3.4 対応点判定
計算した相対位置ベクトルに基づいて，画像ペアの対応せ全てを対応輪郭と判定する．例えば図 6 のように，参照する輪郭を判定する．まず参照画像の輪郭の 1 つに着目し，画像の輪郭重心と入力画像の輪郭重心を順次対応させると，相対位置ベクトルの集合を入力画像の全ての輪郭に投影す

𝑁11 , 𝑁22 , 𝑁33 , 𝑁45 が全て 3 個，𝑁12 , 𝑁13 , 𝑁21 , 𝑁25 ,…が全て 1 個，る．この時，着目した輪郭重心を投影対象の輪郭重心とし，…とカウント数を計算できる．この場合，𝑁11 , 𝑁22 , 𝑁33 , 𝑁45

投影対象の輪郭のサイズを相対位置ベクトルにかけることの 4 つが最大値となるため，参照画像輪郭 1 と入力画像輪で，規格化された相対位置ベクトルを投影対象のサイズに郭 1，参照画像輪郭 2 と入力画像輪郭 2，参照画像輪郭 3 と適切に変換する．参照画像の着目した輪郭重心𝑚𝑥𝑟 から，入入力画像輪郭 3，参照画像輪郭 4 と入力画像輪郭 5 の 4 つ

力画像の輪郭重心𝑚𝑦𝑖 に投影された相対位置ベクトルの集が対応する輪郭であることが分かる．対応する輪郭の被り合を𝑅𝑃𝑃𝑥𝑦 とする．𝑅𝑃𝑃𝑥𝑦 は以下の式(3)で表せる（図 5 左上）．

が発生する場合，𝐷𝑥𝑦 が最も小さいものを採用する．𝐷𝑥𝑦 も⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗⃗
𝑚𝑘𝑟 −𝑚𝑥𝑟

𝑅𝑃𝑃𝑥𝑦 = {𝑆𝑖𝑧𝑒(𝑚𝑥𝑟 )𝑆𝑖𝑧𝑒(𝑚𝑦𝑖 ) | 𝑚𝑘𝑟 ∈ 𝑀𝑟 } ・・・（3）同じ値の場合は，輪郭のサイズの比率𝑆𝑖𝑧𝑒(𝑚𝑥𝑟 )/𝑆𝑖𝑧𝑒(𝑚𝑦𝑖 )を用いて，大きさが近いものを採用する．ノイズによって投影した相対位置ベクトルの集合と投影対象の輪郭の相対パーツの増減がある場合などは，𝐷𝑥𝑦 の値は大きくなるが，位置ベクトルの集合を比較する．例えば，参照画像の輪郭𝑁𝑥𝑦 の値は変動しない．よって，𝑁𝑥𝑦 をまず基準に対応を決

重心𝑚𝑥𝑟 から入力画像の輪郭重心𝑚𝑦𝑖 に投影された相対位めることで，ノイズに強い対応判定を実現している．

置ベクトルの集合𝑅𝑃𝑃𝑥𝑦 は，投影された輪郭の持つ相対位置ベクトルの集合𝑅𝑃𝑦（図 5 右上）と比較が行われる．𝑅𝑃𝑦は式(1)の t = y として，以下の式(4)で表せる．
𝑅𝑃𝑦 = 𝑅𝑃𝑦𝑖 ∗ 𝑆𝑖𝑧𝑒(𝑚𝑦𝑖 )・・・(4)
この際，𝑅𝑃𝑃𝑥𝑦 の要素𝑘𝑟 に対して𝑅𝑃𝑦 の要素のベクトルを全て比較し，ベクトルの差の絶対値が最も小さいものを要素𝑘𝑟 に対応する𝑅𝑃𝑦 の要素𝑘𝑖𝑚𝑖𝑛 として対応付け，そのベクトルの絶対値を𝐷𝑥𝑦𝑘𝑚𝑖𝑛 とする（図 5 下）．ただしそのまま計算すると，𝐷𝑥𝑦𝑘𝑚𝑖𝑛 は画像中のパーツのサイズ感に依存する．

© 2024 Information Processing Society of Japan図 5

相対位置ベクトルの投影と比較

541

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-792024/2/28

像ペアは両方同程度トリミングし，画像ペアの情報量を揃えたまま情報量を減らしたデータを生成した（図 7）．基本的に 9 か所の盤に対して，情報量は大（撮影された盤の元画像の状態），中，小の 3 パターンを相対的に生成したが，元々の情報量が少ない盤に関しては，情報量中や小を基準として画像を生成した．最終的に，23 種類の画像ペア（図8）に対し，提案した特徴点マッチと相対位置マッチを実施して，位置合わせの成否と一致度について評価した．
図 6

輪郭の対応判定方法

3.5 位置合わせ画像生成
輪郭の対応に基づいて，画像ペアの位置合わせ画像を生成する．まず対応のある輪郭同士の重心点と，輪郭を矩形で囲ったときの 4 つの頂点を対応点として抽出する．最低
限 1 つの輪郭の対応があれば，5 つの対応点が獲得でき，

図 7

情報量操作の概要

実験結果・考察

ホモグラフィ変換による位置合わせ画像が獲得可能となる．

表 1 は特徴点マッチと相対位置マッチでの位置合わせの次に，位置合わせ画像の一致度を算出する．位置合わせ成否（図 9 参照）を人間が確認してまとめた表である．特した画像ペアの各画素の輝度差分をとり，全画素で平均し，徴点マッチで失敗したケースは図 8 の青枠の 6 通りであり，255 から減算した値を一致度として定義した．最も一致度

情報量の少ない対象物で失敗していることが分かる．特にが高い画像を最も精度の高い位置合わせ結果として採用す

撮影場所 2, 4 においては元々の情報量が少なく，全てで位ることで，複数の画像入力への拡張や別手法との併用が可置合わせに失敗している．撮影場所 7，9 では情報量中で失能となる．提案した相対位置関係による位置合わせ手法は，敗し，情報量小では成功しているが，これは似た特徴点が情報量が少なく，似た輪郭や配置を持つパーツが多く存在減ったことで逆に誤対応が減少した結果であると考えられする場合には効果的であると考えられるが，情報量が多くる．今回の実験においては，失敗 6 個の内 5 個がパーツのなると輪郭抽出精度が低下する懸念がある．そのため，相数が 2 個以下の対象物であり，目安としてパーツの数が 2対位置ベクトルによる対応判定精度も低下し，位置合わせ個より多く，似た特徴が少ないことが特徴点マッチでは必精 度 に影 響 を 及 ぼ す恐 れ が あ る ．そ こ で 本 研 究で は ，要なことが分かった．一方，相対位置マッチでは全ての画AKAZE 特徴量で特徴点を獲得し，Brute Force Matching と像で位置合わせに成功した．一致の 1 つの指標である一致RANSAC で対応点を決め，ホモグラフィ変換で位置合わせ度の平均と標準偏差は，特徴点マッチ（成功）：平均 232.2を行う従来手法[17]の併用を検討する．以下では，提案した±7.7，相対位置マッチ（成功）：平均 229.1±8.7，全失敗：

相対位置ベクトルによる位置合わせ手法を相対位置マッチ，平均 208.0±7.3 であり，特徴点マッチと相対位置マッチに従来手法を特徴点マッチと呼ぶ．特徴点マッチでは情報量大きな差は見られなかった．よって今回評価した程度の情が多い場合には精度の高い位置合わせが実現でき，相対位報量であれば，相対位置マッチで精度の高い位置合わせが置マッチでは情報量が少ない場合には精度の高い位置合わ実現できることが分かった．また失敗した際の一致度が平せが実現できると期待される．そのため，この 2 つの手法均的に低く見えるが，実際に失敗が見られた条件の相対位を併用することでお互いの短所をカバーして，どのような置マッチと特徴点マッチの一致度を比べると，全ての箇所ケースでも精度の高い位置合わせが実現可能と考えられる．

で成功した際の一致度が高く，一致度の高い方を選ぶことで位置合わせに成功した画像を獲得できることが分かった．

4. 相対位置関係による位置合わせ手法の評価

表 1

情報量による位置合わせ結果の成否

4.1 情報量操作
実験概要・方法
特徴点マッチと相対位置マッチの想定される特徴として情報量による位置合わせ精度の違いが考えられる．そこ
でまず，画像の情報量を操作した際の影響を検証した．評
価用データとして，9 か所の実際に稼働中の盤の画像ペア（ほぼ同じ位置と構図で盤の撮影をしたが，撮影位置や角度，構図等に微小なズレが含まれる）を用いた．評価用画© 2024 Information Processing Society of Japan542情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-79
2024/2/28

タとして，変化大（可能なすべてのパーツの状態を変化（個数は盤による）），中（大の約半数を変化）の 2 条件を用意した．最終的に，12 種類の画像ペア（図 10）に対し，提案した特徴点マッチと相対位置マッチを実施して，位置合わせの成否と一致度について評価した．
実験結果・考察
表 2 は特徴点マッチと相対位置マッチでの位置合わせの成否を人間が確認してまとめた表である．この表から，1”’：
参照画像扉あり，入力画像扉なし条件では，どちらの手法でも位置合わせに失敗していることが分かる（実際の画像は図 10 の青枠）．1, 1’, 1”条件は位置合わせに成功していることから，パーツの状態変化の影響に加え，扉のガラス面による反射やパーツのぼやけ等の窓枠越しであることに起因するノイズが影響したと考えられる．特に，逆の条件である 1’：参照画像扉なし，入力画像扉あり条件では位置合わせに成功しているが，どちらの手法でもアルゴリズム上，参照画像と入力画像が逆になっても結果に根本的な違いは生まれない．そのため，撮影時のガラス面の微妙な反射具
図 8

情報量操作で評価に用いた 23 種類の画像ペアと位置合わせに失敗した画像合等がより大きな要因である考えられる．実際に特徴点マッチでは，反射した照明等のエッジを特徴点として誤対応付けしており，相対位置マッチでは，反射した照明等をパーツとして輪郭抽出していた．以上のことから，参照画像と入力画像では扉の状態を揃えたほうが良く，特にガラス越しだとノイズによって位置合わせ精度が落ちる可能性が

図 9

位置合わせ画像と参照画像を重畳した際の位置合わせ成功と失敗の例あるため，扉は開いた状態で撮影するのが望ましいと言える．またその他の条件では全ての位置合わせが成功していることから，特徴点マッチ，相対位置マッチのどちらの手

4.2 盤の状態操作法でも今回評価した程度のパーツの状態変化では位置合わ

実験概要・方法

せに影響しないことが分かった．ただし，例えば画像上に盤には窓枠のある扉が付いたタイプのものがあり，窓枠スイッチが 1 つしかなく，その状態が変化するような相対を通してランプ・スイッチ等の状態が確認できる．こうし的な変化量が今回の実験条件よりも大きい場合には，位置た盤では，窓枠越しに盤を撮影する可能性があり，扉の開合わせに失敗する可能性は否定できない．

閉状態が異なる画像ペアが獲得されることが想定される．

一致度に関して，状態変化条件ごとに位置合わせの成功

またランプやスイッチ等の各パーツの状態も撮影タイミンと失敗に分けて平均と標準偏差を計算すると，変化中（成グで変化する．盤の各パーツは，他に特徴が少ない盤にと功）：平均 225.4±15.0（扉が異なる条件除外：平均 234.0±っては大きな特徴点であり，これらが変化することで位置3.7），変化中（失敗）：176.9，変化大（成功）：平均 220.7±

合わせ精度に影響を及ぼす可能性がある．そこで，盤の状12.0（扉が異なる条件除外：平均 225.9±5.4），変化大（失態を操作して検証を行った．評価用データとして，3 か所敗）
：平均 176.6±2.0 であり，変化中に比べて変化大で一致のテスト稼働中の自由に盤の状態を操作可能な盤の画像ペ度が低下している．これは盤の状態が変化したことで位置ア（ほぼ同じ位置と構図で盤の撮影をしたが，撮影位置や合わせが成功していても，状態変化箇所の画素が一致しな角度，構図等に微小なズレが含まれる）を用いた．撮影場くなるためだと考えられる．よって状態変化等で一致度の所 1 は窓枠付扉が付いた盤であり，水準にバラツキが生じるため，一定の閾値で一致度により1：参照画像扉なし，入力画像扉なし

成否を判断するのは難しいと考えられる．一方で，成功時1’：参照画像扉なし，入力画像扉あり

は失敗時よりも一致度が相対的に高いように見える．実際

1”：参照画像扉あり，入力画像扉あり

1”’の変化中条件では失敗した相対位置マッチよりも特徴1”’：参照画像扉あり，入力画像扉なし

点マッチのほうが，一致度が高かった．そのため，同一条を対象とした．撮影場所 1 の 4 パターンと撮影場所 2, 3 の件下で複数の画像を入力し，一致度の高い方を選ぶことで計 6 パターンの撮影対象に対し，パーツの状態をパラメー位置合わせに成功した画像を獲得できると考えられる．ま© 2024 Information Processing Society of Japan543

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1P-79
2024/2/28

た情報量操作の実験同様に，特徴点マッチと相対位置マッことが分かった．本研究の限界として，情報量が画像ペアチで一致度に差は見られなかった（特徴点マッチ（成功）：で異なる場合の精度や，より少ないパーツしかない場合の平均 223.2±15.3，相対位置マッチ（成功）：平均 223.1±12.2）．

パーツの状態変化の影響については検討できていない．ま今回評価した程度の情報量であれば，相対位置マッチで精た，全部で 12 箇所の盤での評価しか実施しておらず，撮影度の高い位置合わせが実現できることが分かった．

角度や距離の影響も評価できていない．さらに，同一条件下で複数の画像を入力（動画で撮影する等）した場合，ど表 2

盤の状態操作による位置合わせ結果の成否のくらいの入力があれば，一致度の最も高い画像を選択することで位置合わせに成功した画像を高確率で獲得できるかも不明である．加えて，今回評価した情報量では相対位置マッチのみで精度の高い位置合わせを実現できたが，その情報量の限界値についても明らかになっていない．そのため引き続き様々な盤のデータを収集し，上記の評価を継続する必要がある．さらに，本研究の提案手法を組み込んだ点検システムを開発し，実作業上のユーザビリティや実用上の新たな課題点を明確にすると共に，その改善に取り組む必要もある．

参考文献“三菱電機点検サポートサービス InsBuddy”.
https://www.mitsubishielectric.co.jp/society/insbuddy/, (参照2023-11-10).
[2] Brunelli, Roberto. Template matching techniques in computer
vision: theory and practice. John Wiley & Sons, 2009.
[3] Luo, Zhongxuan, et al.. A shape descriptor based on new
projective invariants. IEEE ICIP, 2013
[4] Li, Linlin, and Chew Lim Tan. Recognizing planar symbols withsevere perspective deformation. IEEE TPAMI, 2009, 32.4, p.755762.
[5] 藤吉弘亘, 安倍満. 局所勾配特徴抽出技術—SIFT 以降のアプローチ—. 精密工学会誌, 2011, 77.12, p.1109-1116.
[6] Lowe, David G. Distinctive image features from scale-invariant
keypoints. IJCV, 2004, 60.2, p.91-110.
[7] 前川敬介ら. 100 万顔画像データベースに対する 34ms での照合の実現: 近似最近傍探索を用いた大規模高速顔画像検索.
PRMU, 2011, 111.353, p.95-100.
[8] Kanazawa, Yasushi, and Kenichi Kanatani. Robust image
matching preserving global consistency. ACCV, 2004, Vol. 2.
[9] Kamiya, Sunao, and Yasushi Kanazawa. Accurate image matchingin scenes including repetitive patterns. RobVis, 2008, Springer.
[10] Zhang, Jian, et al.. An improved SLAM algorithm based on feature
contour extraction for camera pose estimation. CISP-BMEI, 2020,IEEE[11] Ye, Zhang, and Hongsong Qu. Rotation invariant feature linestransform for image matching. JEI, 2014, 23.5.
[12] 福山忠男ら. 画像処理による囲碁棋譜の自動記録. 電気学会
論文誌 C, 2006, 126.8, p.950-956.
[13] 刑部拓郎ら. 拡張現実 (AR) によるメンテナンスの効率化・技術継承 (メンテナンス特集). 明電時報, 2020, 4, p.10-15.
[14] Sauvola, Jaakko, and Matti Pietikäinen. Adaptive document image
binarization. Pattern recognition 33.2, 2000, p.225-236.
[15] Canny, John. A computational approach to edge detection. IEEETPAMI, 1986, p.679-698.
[16] Suzuki, Satoshi. Topological structural analysis of digitized binary
images by border following. Computer vision, graphics, and image
processing 30.1, 1985, p.32-46.
[17] Velmurugan, S., and T. S. Subashini. Copy-Move Forgery
Detection using Multi-Scale Space Key-point Descriptors.
Advanced Engineering Science 54 (2), 2022, 1373
[1]

図 10

盤の状態変化で評価に用いた 12 種類の画像ペアと位置合わせに失敗した画像

5. おわりに本研究では制御盤点検作業向けの変化点検出システム実現のため，撮影時のノイズを多く含み，かつ似た特徴や配置が多く，情報量が少ないことも多い対象である制御盤に対し，高精度な位置合わせを実現する相対位置を用いた新たな位置合わせ手法を提案・開発した．開発した特徴点マッチと相対位置マッチの併用手法に関して評価した結果，①

今回評価を実施した最大 25 個程度のパーツを含む盤に対しては，相対位置マッチのみで精度の高い位置合わせが実現できる②

特徴点マッチでは，パーツが 2 個以下の盤や似たパーツが多く特徴が少ない盤では位置合わせに失敗する③

パーツが少なくとも 7 個程度以上あればそのパーツの状態が変化しても精度の高い位置合わせが実現できる④

扉の窓枠越しに撮影したデータは推奨できない⑤

一致度の水準は盤の状態変化等で変化する© 2024 Information Processing Society of Japan544