情報処理学会研究報告   

位置ずれを許容するエッジ特徴による物体識別大平 英貴½

関根 真弘½

西山 正志 ½

概要：近年，身の回りの「もの」とデジタルデータを繋げるサービスに期待が集まっている．我々は，「もの」に携帯端末をかざすことで，対応する関連データを提示する新しいサービス形態を実現する技術として，かざす  を提案している．この  を実現するためには物体を素早く認識する機能が必須である．しかし，従来の技術では物体の特徴を抽出する処理時間が長いという問題があった．そこで，短い処理時間で物体の特徴を抽出できる領域ベースエッジ特徴を開発し，高い認識率，かつ，短い処理時間の認識機能を実現した．これにより，物体を認識率 で見分ける機能と， で応答速度  秒で動作する  を実現した．

  の携帯端末上

 はじめに
近年，拡張現実感の技術を用いて「もの」とそれに対応する関連データを繋げるサービスに期待が集まっている．
例えば，目の前の雑誌や新聞記事に携帯端末をかざすと，それらに関連するインターネット動画を再生したり，ウェブサイトを表示したりすることで，ユーザにこれまでにない驚き，面白さ，手軽さを与えることができる．
我々は，拡張現実感を用いた新しいサービスを実現する技術として，かざす を提案している．かざす  では，ユーザが身の回りの「もの」に携帯端末をかざすと，事前に登録した関連データを提示することを想定している

図参照．

このかざす を実現するには，目の前の物体をカメラで素早く認識する技術が必要となる．カメラを使った物体認識は，画像記述子  が性能を左右する．画像記述子は局所特徴    と大域特徴    に分類できる．局所特徴とは画像の一部から抽出した特徴量を使って物体を認識する手法であり， や  が図かざす

 の例

図  参照．大域特徴では，特徴量を抽出するという処理と，特徴量同士をマッチングする処理が必要になる．大域特徴は，局所特徴と比較して特徴量同士をマッチングするための処理時間は短いが，物体の見え方が少しでも変化すると認識できなくなるという課題がある．かざす

で一般的に用いられる 図  参照．局所特徴では，特徴は，携帯端末上で多くの物体を素早く認識する必要がある量を抽出する位置を決定する処理と，その位置から特徴量ため，大域特徴を用いる．

を抽出する処理と，特徴量同士をマッチングする処理が必

そこで，従来の大域特徴の課題に対し，高い認識率，か要になる．局所特徴は物体の見え方の変化に対して頑健でつ，短い処理時間の領域ベースエッジ特徴を開発した．こある一方，多くの物体を認識しようとすると特徴量同士をマッチングするための処理時間が長くなり，限られた計算性能の携帯端末上で快適に動作しなくなるという課題がある．大域特徴とは画像全体から抽出した特徴量を使って物体を認識する手法であり， が一般的に用いられる½­

株式会社東芝 研究開発センター                  れにより， 種類の雑誌を認識率!で見分ける認識機能と "# $ % " &' の携帯端末上で応答速度 &(秒で動作する  を実現した．
 位置ずれの概要
位置ずれによる問題
かざす では様々な見え方で撮影された物体を認識す情報処理学会研究報告   Ü 方向のエッジ図  局所特徴
図  大域特徴

Ý 方向のエッジ  のエッジ算出方法



画像記述子の例．図中の四角は特徴量を抽出する範囲 パッチ ，矢印はパッチの方向を意味する．

図 図 

隣接画素からエッジを算出する方法の概念図

物体の見え方が変化する例

る必要がある 図  参照．見え方の変化には水平方向の変化，角度の変化，距離の変化がある．

従来のエッジ算出手法として，  がある．  はサンプリング点の隣接画素から算出したエッジ強度を使ってマッチングする．ここで隣接画素とは，サンプリング点を中心とした周囲の ) つの画素のことである．エッジ強度
は，これらの画素に対し図  に示すような係数をそれぞれ乗算して求めた % 方向の輝度差と * 方向の輝度差から算出

図 

多数のサンプリング点からのヒストグラム化の概念図

ジの方向がずれて正しくヒストグラム化できなくなるという問題がある．また，この手法は各サンプリング点が狭いする．この手法は，各サンプリング点が狭い範囲の形状し範囲の形状しか抽出できないため，物体全体の形状を抽出か抽出できないため，物体の見え方が変化すると，認識時するには多くのサンプリング点が必要となり，処理時間がと登録時でエッジ強度の位置がずれて認識できなくなると長くなるという問題もある 図  参照．

は，% 方向の輝度差と * 方向の輝度差のみでエッジを算出

 位置ずれへの対応いう問題がある 図  参照．また，このエッジ算出方法するため，エッジを頑健に算出できないという問題もある．

 はサンプリング点の隣接画素から算出したエッジの方向をヒストグラム化したものを使ってマッチングす

これらの問題に対し，広範囲の形状抽出と少数のサンプリング点によるヒストグラム化が可能な領域ベースエッジ特徴を提案する．領域ベースエッジ特徴では，る．この手法はヒストグラム化によってエッジの位置ずれ¯ サンプリング点の周辺領域を使った広範囲の形状抽出

る一方，物体の角度の変化すると，認識時と登録時でエッ¯ 少数のサンプリング点による短い処理時間でのヒストを許容しているため，  よりも高い認識率を実現でき­ 

        による水平方向の変化への対応 図  参照，情報処理学会研究報告   図

図 面内回転推定の概念図

 方向のエッジ方向のエッジ

! " 方向のエッジ! " 方向のエッジ

周辺領域からエッジを算出する方法の概念図

図

領域ベースエッジ特徴のエッジ算出方法

強度によるマッチングが位置ずれに対して頑健になる．高い認識率を実現できるヒストグラムによるマッチングでは，領域ベースエッジ特徴によって各サンプリング点が広範囲
図 

少数のサンプリング点からのヒストグラム化の概念図

グラム化 図

体の形状を抽出できるようになり，ヒストグラム化の処理

参照，時間を短くすることができる．また，周辺領域の形状を矩¯ 物体の面内回転の変化推定による角度の変化への対応

図の形状が抽出できるため，少数のサンプリング点で物体全参照，形にすることで績和画像 , - を使ったエッジ算出が可能となり処理時間を短くすることができる．

¯ マルチスケール探索による距離の変化への対応を行う．これにより，エッジの位置や角度のずれの許容と短い処理時間での特徴量抽出が可能となる．

 面内回転の変化推定
物体の角度の変化に対応するために，物体の面内回転方 領域ベースエッジ特徴向を推定し，パッチを回転させる．面内回転方向は，エッジ/,/ , を基準に決定する 図

方向のヒストグラムの中で最も頻度の高い方向 . -/,,

位置ずれに頑健なエッジ算出方法

 参照．そして，に示すようなサンプリ

その方向にサンプリング点の位置と周辺領域を回転させング点の周辺に円形に配置した領域からエッジを算出す

る．サンプリング点はパッチの中心位置を基準に回転させ領域ベースエッジ特徴は，図る．周辺領域から取得した画素情報を使ってエッジを算出

る 図  参照．領域ベースエッジ特徴はサンプリングすることで広範囲の形状を抽出可能になり，エッジの位置点が少数であるため，高速に回転することができる．周辺ずれに対して頑健になる 図 + 参照．また，周辺領域を円形に配置し，% 方向の輝度差と * 方向の輝度差に加えて%  方向の輝度差と *  方向の輝度差も算出することで，エッジを頑健に算出可能にする．これにより，エッジ­ 

        

領域は，その領域に対応するサンプリング点の位置を基準に回転させる 図   参照．周辺領域を回転させることで，撮影する物体の角度が変化した場合でも同じようにエッジ方向を算出できる．
情報処理学会研究報告    サンプリング点のスケール制御
    周辺領域のスケール制御
 周辺領域の回転制御

図パッチのスケール制御

面内回転の変化に対する頑健性の評価実験，仰俯角の変化に対する頑健性の評価実験，距離の変化に対する頑健性の評価実験では，領域ベースエッジ特徴，，  の

 つの手法で物体の見え方の変化に対する認識率を測定した．ここで認識率とは，同物体の受入率と他物体の排除率が等しくなるように設定した場合の値である．特に，領域 サンプリング点の回転制御
図

パッチの回転制御

ベースエッジ特徴は次の  つの手法を使って評価した．

#¯ 提案手法 ­ヒストグラムを使った領域ベースエッジ特徴

 マルチスケール探索$¯ 提案手法 ­面内回転の変化推定とマルチスケール探索が無いヒス

カメラと物体との距離の変化に対応するために，パッチトグラムを使った領域ベースエッジ特徴のスケールを変えて物体を探索する．特徴量を抽出する範囲のスケールは，サンプリング点の間隔，サンプリング点%¯ 提案手法 ­面内回転の変化推定とマルチスケール探索が無いエッと周辺領域との距離，周辺領域の大きさによって変化させることができる．例えば，カメラと物体との距離が遠いた
めに物体のスケールが小さく撮影されている場合は，サンプリング点の間隔を狭く，サンプリング点と周辺領域との距離を短く，周辺領域の大きさを小さくすることで，物体のスケールにパッチを合わせることができる 図  参照．
領域ベースエッジ特徴はサンプリング点が少数であることと，周辺領域の大きさを領域の  隅の位置で設定できることから，少ないメモリアクセス回数によるスケール変化がジ強度を使った領域ベースエッジ特徴

認識率は回転角 °，仰俯角 °，距離 - の雑誌を 種類登録し，それぞれの雑誌に対し回転角と仰俯角を  °ごと，距離を ( - ごとに変化させたデータベースを用いて評価した 図  参照．ここで仰俯角とは水平を基準とした上下方向の角度のことをいう．実験では各雑誌に付き 枚の画像を登録した．特徴量抽出に要する処理時間の評価
実験では，特徴量抽出時間を従来手法と比較した．
登録物体の認識に要する応答速度の評価実験では，提案可能となる．

 実験による性能評価
領域ベースエッジ特徴の有効性を確認するために，面内回転の変化に対する頑健性の評価実験，仰俯角の変化に対# と  で登録物体数の違いに対する応答速度の手法 ­変化を測定した．

処理時間と応答速度は ,0$ を使って測定した．

$  /( $0 &1+' のする頑健性の評価実験，距離の変化に対する頑健性の評価実験，特徴量抽出に要する処理時間の評価実験，登録物体の認識に要する応答速度の評価実験を行った．

­         

面内回転の変化に対する頑健性の評価実験
面内回転の変化に対する頑健性を検証するために，雑誌情報処理学会研究報告   

図

図





図



仰俯角を変化させた時の認識率

図

距離を変化させた時の認識率

評価用データの例

回転角を変化させた時の認識率の回転角を変化させた時の各手法の認識率を測定した．実験では，回転角が °の画像 枚， °から  °の画像
 枚， °から  °の画像  枚， °から  °の画像
1 枚の  つの条件で認識率を測定した．いずれの条件でも，仰俯角は °，距離は  - である．実験結果を図 # の認識率が高に示す．回転角が大きい場合でも提案手法 ­枚， °から  °の画像  枚， °から  °の画像 1枚の  つの条件で認識率を測定した．いずれの条件でも，回転角は °，距離は - である．実験結果を図  に# ，提案手法 ­$ ，提案手法 ­% の全てにお示す．提案手法 ­いて識別率は!以上であり，仰俯角の変化に対して頑健であることが確認できた．

いことから，面内回転の変化推定によって回転角の変化に$ が 頑健になることが確認できた．また，提案手法 ­ 距離の変化に対する特徴量の性能評価も高い認識率であることから，周辺領域からエッジを算出

離を変化させた時の各手法の認識率を測定した．実験で% が   よりよりも高い認識率であることと，提案手法 ­距離の変化に対する頑健性を検証するために，雑誌の距著しく低下した理由として，雑誌の回転によってエッジの- の画像  枚， - から ( - の画像 枚， - から ( - の画像  枚，( - から (( の画像 1 枚，(( - から 1 - の画像 () 枚の ( つの条

方向が変わり，エッジのヒストグラムが認識時と登録時と件で認識率を測定した．いずれの条件でも，回転角と仰俯で異なる特徴になったためと考えられる．

角は °である．距離が大きく変化した場合でも提案手法

 仰俯角の変化に対する頑健性の評価実験

エッジの角度のずれに頑健になることが確認できた．

することによって回転角の変化になることが確認できた．

$ と  の認識率が回転角の変化に伴い
特に提案手法 ­は，距離が # の認識率が高いことから，マルチスケール探索によって­仰俯角の変化に対する頑健性を検証するために，雑誌の仰俯角を変化させた時の各手法の認識率を測定した．実験
では，仰俯角が °の画像 ­ 



枚， °から  °の画像          特徴量抽出に要する処理時間の評価実験
特徴量抽出に要する処理時間を評価するために，各手法
情報処理学会研究報告   

表

各手法の特徴量抽出の処理時間­# 手法 ­$ 手法 ­% &  

認識手法
処理時間

提案
手法

提案

提案$)$#)*$#)+,'(#%)*$#)-*の特徴量抽出の処理時間を測定した．各手法の処理時間を表# や提案手法 ­$ が  に比べてに示す．提案手法 ­高速である理由として，ヒストグラム化の際にメモリを参照する回数は  が )  回であることに対し，領域ベースエッジ特徴が 回であることから，少ないメモリ参照回数によって短い処理時間でヒストグラム化できる図# と提案手法 ­$ の処ことが確認できた．また，提案手法 ­理時間に大きな差が無いことから，短い処理時間で面内回参考文献転の変化推定とマルチスケール探索が可能であることが確

認できた．



 登録物体の認識に要する応答速度の評価実験
登録物体の認識に要する応答速度を評価するために，提# と  を使って登録物体数の違いに対する応
案手法 ­



答速度の変化を測定した． は下記の式を使ってマッチングした，-

登録画像の特徴点と撮影画像の特徴点の対応数
登録画像の特徴点の数





特徴点同士の対応付けは全探索によって行う．
実験結果を図 に示す． は登録数の増加に伴いマッチングの処理時間が大幅に長くなるため応答速度が低

,

# は登録物体数が増加した場合で下する一方，提案手法 ­も速い応答速度で認識できることが確認できた．

また，回転角を °から  °，仰俯角を °から  °，

距離を 

6

- から 1 - まで変化させた画像 () 枚を使っ
# は &!， はて認識率を評価した所，提案手法 ­# は局所特徴と比較しても高の )&! であり，提案手法 ­:い認識精度であることが確認できた．

"# $ % " &' の $0 を搭載した携帯端末上でかざす  を動作させた時の応答速度は  物体を登録した場合， &(-2 であり，携帯端末上で高速に動作するこ

登録数と応答速度との関係

大平 英貴 広畑 誠 関根 真弘 西山 正志 山内 康晋， かざす 〜携帯端末で高速な物体認識〜 第  回 画像の認識・理解シンポジウム論文集 

                ! !" # !"$ % & !"$ '  ()&*#+# ! , -.&/$  *"/"&0 11 ! $#2  "!0 3 "0+4#  Æ       ... ! !" # !"$  !' !5 !  ()& *#+# ! )),-67 "$"$ "!0 3 8 #22+          !   !' !  ()& *#+# !
"!0 9" !  5 2!# # ! * $ ))::,: 
 3"; 8 8&; $"" + "!0  *"!  $          ! .& ) "!  !' !5 !  ()& *#+# ! ))---6 , "$ !0  *  ) #   < 5=" "!0 9 >&" ! !           ! .&) "!  !' !5 !  ()& *#+# ! ))66:6<  & ! 22   =$# "!0  <# 2 "  ! !
          ... ! !"
# !"$  !' !5 !  ()& *#+# ! ))-:
 (/"# "!0 ? ? +=#0" "  "        ... ! !" # !"$  !' !5 !
 ()& *#+# ! ))6- 
$"=# @ # "!0 9*"!0 2= ;!+       !   !' !  ()& *#+# ! "!0 9" !  5 2!# # ! ))6 とを確認した．

 おわりに「もの」とその関連データを繋げるかざす を実現するために，高い認識率，かつ，短い処理時間で物体を認識する領域ベースエッジ特徴を提案した．実験により，領域ベースエッジ特徴は物体の見え方が変化した場合でも頑健に認識できることを確認した．今後は，さらに高い認識率を実現するとともに，マッチングに要する処理時間をさらに短くする．また，かざす の利便性を定量評価によって確認することで，かざす文化の創造を目指していく．

­         