「インタラクション2000」平成12年2月

机型実世界指向インターフェースにおけるバーコードによらない実物体認識

西 高宏＊1佐藤洋一＊2小池英樹＊1＊1電気通信大学情報システム学研究科＊2東京大学生産技術研究所第3部

E−mail：nishi侃vogue．is．uec．ac．ipを改良したもの、この2つのアプローチで机上の物体認

1． はじめに識を進めていく。
現在我々は、机に統合された実世界指向インターフェ
4． HistogramIntersectionfbrEnhancedDeskースとしてEnhancedDesk［1】の開発を進めている。このまずRGB空間の各軸をn分割した3次元ヒストグラム

EnhancedDeskとはコンピュータの画面を机上に投影し、同時に机上をカメラで観察する事によってユーザとコンを作成する。モデルのヒストグラムMと入力画像のヒスピュータとのインタラクションを実現するものである。

トグラムⅠとの類似値を（1）式のように定義する。

この研究ではこれまで、ユーザの指先等を追跡し、そ∑ご＝ノ椚加仏間の動きからユーザの意図理解を行ってきた。しかし実環

粛財虐●＝境を計測し、机上にある物体とユーザの行動とを関連づ∴∴∵3‖E∑：＝′掘

ところで、ここでは机上に並ぶ複数物体の認識に対応けることからも、ユーザの意図理解が期待出来る。

する必要があるため、今回は100×100pix￠1の局所領域でそこで本研究ではその第一段階として、机上の実物体類似値を求め、それをずらしていくといった形で画像全認識を目的とする。

体（256×220pixel）に対してマッチングを行った。さらに実2． 物体認鷹

行速度向上のためCoarse−tO一重ne法を導入した。

物体の認識手法として、これまで対象物体に発信器や準備として、あらかじめ100×100pixelの大きさでモデID タグ等を取り付けるといった方法があり、ルを撮影し、その色ヒストグラムと、1／16までデータ量

EnhancedDeskでも紙書類にバーコードを張り付け実物を減らした25×25pixelの色ヒストグラムをモデルデー体との対応付けを行ってきた。しかしバーコード等の添タとして登録しておく。照合の流れとしては、付には手間が必要であったり、間違えて張ってしまう、① 入力画像（256×220pixel）から1／16に縮小した64×剥がれてしまうといった管理上の問題があり、また物理55pixelのRGBデータを作成し、左上から順に、各的にバーコードを取り付けることが困難な場合も生じる。

モデルと25×25pixelで類似値を求めていく。

そこで本研究では、物体の認識に画像特徴量を利用し、② この類似値が一定闇値以上のものを覚えておき、色分布による物体認識を行うことにする。

1／16サイズでのマッチング作業を終えると、256×3． 色ヒストグラムによる物体認膚

220のフィールドにおいて、先ほど類似値が高かった部分付近を、100×100pixelでマッチングを行う。

色の分布を特徴とする手法は、対象物体の変形・隠れ③ さらにこのときの類似値が一定聞値を越えた場合、に対して安定しており、中でもSwainらにより提案され登録されているモデルが発見されたと考え、対象モた色ヒストグラムに基づく画像照合手法［2〕は、画像検索デル名とマッチングを行った画面中の位置を出力し、に高い性能を得られるということで注目されている。

図1のような結果が得られる。

物体認識では、特定位置の物体に対しそれは何であるかという問題と、目標となる物体が画像中のどこにあるかいった問題の二側面が問われる。一般に前者は0句ectrecognition（What問題）、後者は0句ectlocalization（Where問題）と呼ばれ、What問題に対してSwainぽ Histogram
Intersection、Where 問題に対 し てHistogram

Backprqiection という手法を提案している。

図1HistogramIntersectionによる認識結果

ところで机上には複数の様々な物体が並んでおり、そ5． Histogr8mBackpr可ectionforEnhancedDeskの状態で「どこ」に「何」があるかといった、What−Where両問題を同時に解決させる必要がある。そこで Histo訂amHistogramBackprqjectionはモデルと入力画像との比のヒストグラムを作成し、「モデルに近い色は入力画像中Intersection を改良したものと Histogram Backprqjection−55−

ム［3］との連携を図った。のどこにあるのか」といったことを表す。これを登録モ

これは、机上に置かれた本を認識するとその周りに円デルごとに実行すれば、What問題への対応も実現出来る。

を投影し、本に連携してV由m図を作成する。ユーザが実またヒストグラムの比を利用するため、あらゆる大きさのモデルと比較可能となる。そこでモデル作成には差分を利用し、対象物体の際に本を動かすことで関連情報のAnd検索等が実行され、検索結果を机上のVenn図内に表示するものである。
これまでのVenn図システムでは、本に2次元バーコーみを切り出し（図2）ヒストグラムデータドを添付し本の判別を行ってきたが、本研究によりバーに充てるためより精度の高い認識が可

図2モデル例

能となる。さらにこのとき、登録モデルコードレスが実現し、より自然なものとなった。のピクセル数がわかるため、これを物体の大きさの尺度として照合の際に利用する。手順としては、① 式（2）より比のヒストグラムRを作成する
そテンレとス∧グラム

紬（掌中2）i：

ノ入力顔のとス∧グラム② 入力画像それぞれの画素をRの値に置き換え図5（a）実行例比の濃淡画像を求める。例えば図3（a）のような入力画像に対して、図2にある筆箱のモデルで（b）認識部分

7． おわりにHistogramBackprqjectionを行うと、図3（b）のよ本研究では、EnhancedDeskでの使用を考慮し、机上にうな画像が得られる。

ある複数の物体を認識する手法を2つのアプローチから試みた。4章で示した手法は、図柄の似通った物体の判別にも強く、ある程度大きさや形が決まっている本のようなモデルに対して有効といったことから、Venn図ベースの実物体検索システムと連携を図った。
5章で示した手法は、モデル登録時に対象物体のみを図3（a）入力画像（b）HistogramBackprqjection結果切り出すため、任意の形状・大きさに対して認識が可能となり、さらに大きさ情報も利用したことで認識精度の③ ②で得られた画像をラベリング、面積ソートし、向上が実現された。

面積が登録時に記録してあったピクセル数に今後、さらに処理能力を向上させるとともに、関連研対して適正なものであれば、対象物体を見つけ究である村瀬らによるアクティブ探索法［4］の比較検討、たものと判断し、モデル名と位置を出力する。

color constancyの実現、EnhancedDesk他機能との連携、図3（b）では、筆箱に近い色の眼鏡ケースも浮き最終的に状況理解の実現に向けて研究を進めていく。

出てしまっているが、この処理により対象である筆箱に対してのみの検出結果が得られる。
参考文献④ 以上①〜③の操作を登録モデル数分繰り返し、［1】小林貴訓，佐藤洋一，小池英樹：EnhancedDeskのため図4のような結果が得られる。（図中に置かれの赤外線画像を用いた実時間指先認識インターフているもので登録されているものは「筆箱」

ェース′；日本ソフトウェア科学会WISS，99 近代科「眼鏡ケース」「メビウス」である）

学社；pp49−54（1999）［2］M・J・Swain and D，H・Ballard： ColorIndexing；

IJCV，VO17，pPll−32（1991）．
【3］H・Koike，YSato，YKobayashi，H．Tbbita，andM．Kobayashi，‖Interactive textbook andinteractive Venn Diagram：naturalandintuitiveinterfaces o？augmented desk

図4ⅠIistogramBackprqjectionによる認識結果

SyStem，

toappearinACMSIGCm2000，Apri12000．

［4］村瀬洋，ⅤⅤⅥnod：局所色情報を用いた高速物体探． 応用例：1屯nn圃ベースの実物体検索システム

索−アクティブ探索法−；電子情報通信学会論文

応用例として、既にEnhancedDesk用アブi）ケーション

誌 D−ⅢⅦ1．J81−D−ⅡNo9pp2035−2042（1998）．

として開発されていた、Vbnn図による実物体検索システ

一56−