「インタラクション，99」 平成11年3月

反射光画像を用いた3次元位置検出手法に関する検討
沼崎俊一、森下明、梅木直子、土井美和子（株）東芝 研究開発センター〒210−8582 神奈川県川崎市幸区小向東芝町1番地
TEL．044−549−2242

FAX．044−520−1308

numazaki＠eel．rdc．toshiba．co．jp
我々は新しい画像入力デバイス、モーションプロセッサを開発した。これはコンピュータへの簡単で、直感的な入力方法をユーザに提供するものである。モーションプロセッサは近赤外光を発光し、その反射光を撮像することによって、背景から切り出された対象物の3次元形状をリアルタイムに取得できるため、ジェスチャ入力などを行うシステムを容易に構築できる。さらに、より精度の良い距離情報を得るためには、本デバイスの撮像する画像の持つ非線形性を解析し、これらを補正するのが望ましい。本論文では、この要因を明らかにするとともに、補正モデルを作成し、対象物体の3次元位置検出を精度良く行えることを示す。

A Method of Detecting Object Position in 3‑D SpacebyUsingRe皿ectedLightImage

ShunichiNumazaki，AkiraMorishita，NaokoUmeki，MiwakoDo
ResearchandDevelopmentCenter，TbshibaCorp．
1KomukaiTbshiba−Cho，Saiwai−Ku，Kawasaki−Shi，Kanagawa210−8582，Japan

TEL．044−549−2242 EAX．044−520−1308
numazaki＠eel．rdc．t6shiba．coJP

WedevelopedanewinputdeviceT．MotionProcessor1．．TheMotionProcessorpresen

aneasyandintuitiveinputmethodtousers．Itthrowsinfraredlighttotheobjectand
receiveithereflectedlight．ThereforetheMotionProcessorcanrejectbackgroundand
CaPture Onlythe object−s shape，mOtionanddistance．Butifwerequire more accurate
range主nformation，itisrpc占ssarytpcorrecttheimageba＄ed＿Ontheanalysisofnon−linear
CharacteristicoftheimageMotionProcessorgenerates・Inthisarticle，We eXPlainthe

factorsofthedi飴rencebetweentheimageofMotionProcessorandrangeimage，tmakeamodelforcorrectingrangeinformation．

−177−

ンプロセッサが持つ非線形性を除く補正を1．はじめに行うため、本論文では、非線形要因と補正

今日、コンピュータは広く普及し、専門モデルを示す。さらに、実測したデータに家やオフィスでの使用にとどまらず、一般より、補正モデルを作成し、その有効性を家庭で広く使用されるようになった。しか確認する。

し、多くの人々にとって、コンピュータを以下、2節ではモーションプロセッサの使いこなせていないのが現状である。

概要を説明し、3節ではその画像に含まれる非線形要因について説明する。4節では日常生活の中で人間同士が身振り、手振りを使ってコミュニケーションを行うのと実験により、補正モデルの作成と有効性の同じように、身振り、手振りなどを用いて、検証を行う。

直感的に、自然に、コンピュータを操作で2．モーションプロセッサの概要きる機構が切望されている。

このような動機から、 従来からジェスチャーなどの認識に関して様々な研繋が行われてきた【1，2，4】。しかし、撮像した画像から手などの対象物のみを抽出することは大変困難で、多大な時間と計算量を必要とするという問題があった。リアルタイムに人間のジェスチャーなどを認識するには、ブFig．1モーションプロセッサ試作機ルーバックを用いるなどの制約が多かった。

そこでこのような制約なく対象画像の切Rg．1は我々が試作したモーションプロセり出しを行えるデバイス「モーションプロッサである。中央のレンズの周囲に、近赤セッサ」を開発した【3】。

外光を発するLEDを配している。またレン

モーションプロセッサは、光の反射の原ズの奥に受光部のカスタムセンサある。

理を用いて、背景画像を取り除くことで、Fig．2にモ、−ションプロセッサの動作原理

対象物の画像のみを取り出す新規画像処理を示す。LEDから発光された赤外光が物体技術を採用した情報入力装置である。反射光量は、物体とカメラの距離によって変化LEDするので、物体の3次元的な形状情報も取得できる。
モーションプロセッサにより、手の形状の切り出し、3次元空間内での手の動きの認識を行えるイメージセンサ。これをCG技術などを組み合わせ、直感的な挽作を実現した【5】。
モーションプロセッサの取得画像は距離の2乗に反比例する反射光量の画像である

Fig．2動作原理ので、厳密な距離画像ではない。モーショー178−

元的な形状や動きを認識することができる。
モーションプロセッサSDK（So氏wareDevelopmentKit）と呼ぶ形状・動き認識のための様々な演算を行うためのライブラリを開発した。SDKは3次元空間における対象物の重心位置、重心速度、体積の計算、FFr演算といった低レベルの演算を行う部分から、パターンマッチング、オプティカル・Fig．3検出された手の画像で反射され、センサ部分がその反射光を受フロー抽出などといった高次の認識を行うAPI（ApplicationProgrammingInterfhce）群から構成されている。

光する。

Fig．4は、一例としてSDKを用いて手のこのようにしてモーションプロセッサに重心座標を求めているところである。

よって検出された手の画像の例をFig．3に示す。

このSDKにより、ソフトウェア開発者は、モーションプロセッサのアプリケーションを容易に開発できる。実際に、我々はSDK図の様に、手の部分のみが検出されておを用いてマルチメディア・アプリケーショり、背景からの反射光は距離の2乗に反比ンを試作した。

例するので、微弱であり検出されていない。
この原理により背景からの対象物の切り出しを低コストでリアルタイムに実現した。

試作したモーションプロセッサの性能をTab．1に示す。パソコンには、64Ⅹ64のデータアレイに0から255までの数億が格納されて送信される（ただし、下位1bitは無Fig．4手の重心位置の計算例効である）。

恥b．1試作機の性能
分解能64 X 64 pixels

距離深度128階調

撮像レンジ 30 〜 90cm動作レート 30〜50frames／亭eC

本体サイズ 幅90×高120×奥行140m
対応廿F

PCMCIA

対応OS

WindowsNT

パソコン側では、モーションプロセッサから送信された画像に対し、様々な演算をFig．5 じゃんけんゲーム行い、手のジェスチャーなど村象物の3次−179−

一平面での反射光量の変化である。センサ

Fig．5は、作成したじゃんけんゲームをしている図である。切り出された手の形を認の取得する反射光量は、反射光量をⅠ、距識し、勝敗を判断するとともに、手の奥行離をLとすると、（1）式の関係になる。ここ

き方向の動きを検出して、人間のじゃんけでkは定数である。

んを出すタイミングを認識している。

J＝

（1）

ど

3．取得画像の非線形要因と補正モ（1）式により、反射光量から距離を計算できるはずである。が、厳密には距離以外に、

デル

物体表面の反射率や反射特性、また、物体3．1 非線形要因

面のカメラ方向に対する傾きなどの条件に本節では、モーションプロセッサの取得

反射光量は左右される。しかし物体が完全画像の非線形要因を明らかにする。

拡散反射面に近い性質の面に覆われている

まず、一般に距離画像とは、画像の画素値が、そこに映っている物体までの距離をと仮定し、面の傾きを考慮しなくてよい条表わすような画像を指す。ここでは画素値件下であれば、比較的良好に距離情報を取が表わす距離は、カメラの光軸（中心軸）得できる。人間の手はそれに近い特性を持と垂直に交わる平面が、その画素の表わすっており、手の位置・動きを捉えるという場所を通るときの、カメラと平面の距離、典型的な使い方の下では、比較的正確に距と定義する。つまり、Fig．6において、平面離情報を捕えることができる。

mはカメラの光軸と直行する。カメラと平距離画像の定義では、カメラの光軸と垂面m との距離をdとする。平面m上の点直に交わる平面上の任意の位置にある物体

Pに物体がある時、点Pの位置に対応するの距離億はすべて等しい。が、実際にモー画素値はdとなる。

ションプロセッサの取得画像上では同じと次に、モーションプロセッサ取得画像のならない。つまり（1）式であらわされるよう非線形要因を説明する。∵第1の要因は、同に、同一の反射光量になるのは、カメラを中心とした球面になるためである。つまり、垂直面では、カメラの光軸の交点がもっともカメラに近く、そこから離れるにしたがって、距離が大きくなり、反射光量は小さくなる。
第2の非線形要因は、レンズである。レンズには通常、周辺光量低下という現象が見られる。これは、中心方向からの光に比べ、周辺方向からの光の量は少なくなり、撮像した像の周辺部が中心に比べ暗くなるという現象である。

第3の要因は発光源の指向特性である。

使用しているLEDは、指向性が広く、中−180−

心に比べ周辺が緩やかに暗くなるタイプのものである。
3．2 補正モデル
以上述べた要因により、光軸の垂直面にある物体からの反射光量が等しくならない。
次にこの非線形の補正モデルを考える。この反射光量の低下は、画面中心に対し、対称な形で起こるので、比較的モデル化しやすい。実際に物体を計測して、補正モデルを作成できる。この補正については、次章

Fig．7距離画像空間と実空間との関係で述べる。

dは図中に書かれるように決まる。ここでただし、厳密には、対称物体の反射特性

カメラ0 と物体を結ぶ方向が光軸方向と成が変われば、補正モデルも変わる。しかし、す角をβとすると、βは反射画像中の物体主に撮影対象となる物体（たとえば手）に位置のⅩ座標で決まり、対し、補正モデルを作っておくことは現実

J Sin（；的である。

−

W sinβⅣ

次に、位置の補正モデルについて述べる。という関係を満たす。ここで、Wとは 画像のⅩ方向の画素数、βw視野角である。

ところで、一距離画像の表わす空間は、四したがって、美空間座標での位置は、Ⅹ座角錘である。カメラの画角が小さく、ある標はdsine、Z座標はdとなる。

程度距離のある物体を撮像する場合は、こ

ただし＼式（2）には、レンズ歪曲の影響がの四角錘のうち、対象物体の存在する領域考慮されていず、厳密にはこの式は成り立付近を切り取った形は直方体に近いので、たない。が、この補正を行うは、Ⅹとβゐそのまま美空間の距離情報と考えても違和関係を補正情報を含めモデル化すればよい。

感が無い。ところがカメラの画角が大きい

4．補正モデル作成と評価実験と、この四角錘は、かなり末広がりな形になる。カメラの光軸上をまっすぐ近づいて

本実験の目的は、既知の位置にある対象

くる物体は、距離画像上での位置が変わら物体を撮影した画像から、補正モデルを作ないが、1周辺にあり光軸と平行な動きで近成し、その安当性を検証することである。

づいてくる物体はまず3つの実験を行い、補正モデルのたん周辺に動いていくこめのデータを取得する。ここで行う 3つの実際の空間での動きを取り出すには、距実験は以下である。

離画像から実空間への変換が必要である。

1．実際の物体距離と、計測された反射光

Fig．7を用いて説明する。ここでは簡単の量との関係を得る。

ため、真上から見た図、つまりⅩZ平面に射2．カメラの光軸と垂直なある平面上を物影した形で考える。今、物体がPの位置に体が移動するとき、反射光量がどのよあるとき、距離画像上でのⅩ座標と距離借−181−（2）近い特性が得られているが、グラフの傾きうに変化するかを調べる。

がやや異なっていることが分かる。（1）式に

3．反射画像中の物体位置と、βの関係を定数項を加えて、（3）式を用いて近似した曲

得る

線を薄い曲線で表わした。（3）式を用いると次に、補正モデルを作成し、これを用いて実際に物体の位置を測定し、その有効性かなり精度良く近似できた。したがって、を確かめる。

補正モデルとして（3）式を用いることにする。

本実験では対象物体として、直径8cmの′＝＋c

球体を用いた。表面には黄色の塗装が施してあり、人の手と同程度の反射特性を持っ（3）

実験2：上下左右の物体位置と反射光量カメラから 40cmにある平面上に対象物ている。鏡面性は無い。
球体を用いた理由は、面の傾きの影響を体を置き測定した。球体の中心位置は、カ排除するためである。平面を撮像したときメラの正面を中心とし、上下左右に30mmには同じ距離にあってもその面の傾きによ刻みで動かし、計169点において計測しって明るさが異なる問題がる。球体では、た。

カメラ側から見た時の球体の中心近傍は常この結果を表わしたのが、Fig．9である。にカメラ方向に対し垂直となり、面の傾き2本の水平軸で、物体の位置を表わし、その影響を排除できる。の時の出力を垂直軸で表わしている。

各位置における、計測された物体の反射

カメラに対向する平面上での物体の動き

光量は、物体の内部にある点の中で最も明による反射光量の変化は、基本的に対称的るい5画素の平均値とした。計測された物であり、画面中心からの距離のみlこ依存す

体位置は、物体内部の最も明るい10画素のる。Fig．9のデータを、画面中心からの距離平均とした。とその距離における反射光量の関係にした

実験1：物体距離と反射光量ものが、Fig．10である。

カメラの正面方向に球体を配置し、その図中の曲線は、これらのデータに当ては距離を1cm刻みで変化させ、物体の反射光めた関係式である。これは2次式で表わす量を測定したム測定結果をFig．8に表わす。

ことができた。この曲線の落ち込んだ部分

このグラフを見ると、かなり理論曲線にを、画面中心と同じ高さになるように持ち

0030 0睾玉e前章せ5 02 2

均120−160
田80−120□40−80−18
縦位置

300

400

500

600

700

物体距離（m）

Fig．9物体位置による反射光量の変化

Fig．8距離と反射光量の関係

ー182−

度のtangentが分かっていれば良い。この160

関係をFig．12に示す。また、近似曲線を合120わせて表示した。レンズ歪曲が無ければ、直線になるはずであるが、2次の項を付け芸80加え、2次式でモデル化した。

400100203040

画像中心からの距離（画素）

F料10中心からの距離と反射光量低下の関係上げるような補正を行う。

010203040

画面中心からの距離（画素）

実験3：測定された位置の誤差

Fig．12測定位置と実際の位置の中心から実験2と同じ条件で測定する。ここでは、の距離反射光量ではなく、測定された物体位置と実際の物体位置との関係に着目する。Fig．11以上の実験により、任意の位置にある物に、測定された物体位置をプロットする。

体に対し、その3次元位置を特定するため理想的には、これらの点は格子状に並ぶが、の計算式が得られた。計算式は大きく 3つレンズの歪みのため、端の方にある点が、に分けられる。まず、反射光量を距離情報中央に寄っているのが分かる。に変換する計算式、縦横方向の物体位置による反射光量低下を補正する計算式、そし反射光量の減少と同様に、位置に関するて、検出された縦横方向の物体位置を補正

歪みも対称的である。画像上での物体位置する計算式である。

盲と、実物体とカメラを結ぶ線が光軸と成す

この式を用いて、3次元空間内での実際角の関係をモデル化する。実際にはこの角の動きを補正する実験を行った。補正モデ◆◆◆◆◆◆

1632
x座標

撮像空間を斜めに直線的に横切るように動叫．◆◆◆◆◆◆◆◆◆◆◆◆◆◆ ◆◆ ◆ ◆u61◆ ◆◆◆◆ ◆◆◆仙ぐ◆◆◆◆◆◆◆◆◆◆◆仙γ◆◆◆◆◆◆◆◆◆◆◆◆仙◆◆ ◆ ◆◆ ◆ ◆◆ ◆ ◆◆ ◆ ◆ ◆◆ ◆ ◆ ◆ ◆◆ ◆◆ ◆仙◆◆◆◆◆◆◆◆◆◆◆◆◆仙刷◆◆◆◆◆◆◆◆◆◆◆◆◆岬⁝トト◆◆◆◆◆◆◆

㍍⁚㍑

23攣讐

◆◆◆◆◆■◆◆◆◆◆

↓

い⁚⁚り⁚

004◆ ◆

ル作成に用いたのと同じ球体物体を使い、かし、一定間隔で撮像し、補正モデルを用いて補正した。結果を、Fig．13に表わす。
求められた、3次元位置の系列を、距離とⅩ方向の位置、距離とy方向の位置、に分けてグラフ化したものである。直線的に動くので、グラフは直線的であるほど良い。ま48

た、各点の間の距離は等しいほど良い。
比較のために、反射光量の距離への変換

Fig．11測定された物体位置のみを行い、反射光量の補正、位置の補正−183−

は行わない場合の結果をFig．14に示す。補チャを考えると、握りこぶしを球体の物体正モデルを用いることにより、直線連動をとみなすことで、4章で示した補正モデル正しく検出できることが分かる。

で。3次元位置を求められる。

6．おわりに︵匡匠＞′在世×︶

本論文では、反射光を用いた画像入力装置において、より精度の良い距離画像を取得するための方法について述べた。本装置の持つ非線形性を明らかにし、これを補正するモデルを作成することにより、良好な3次元位置検出が行えることを示した。これにより、モーションプロセッサが手の3次元位置の精度を必要とするアプリケーシ

Fig．13 補正モデルを用いて直線連動をョンに対しても有用であることを示した。

検出した結果今後は、物体の表面反射特性がモデル作︵区匠＞．区匠×︶他車成時と異なる場合や、物体表面の傾きがカメラに対し変化する場合について検討・予定である。

参考文献［1］Cipolla，R．，Okamoto，Y and Kuno，Y．
350

450400500

Qualitative visualinterpretation of3D hand

550

距離（m）

gesturesusingmotionparallax．Proceedingsqf〟l仏Fig．14反射光量、位置の補正を行わない

タ2，pp．477−482，1992．

【2】鹿毛裕史、三宅康也、久間和生、 人工網

場合の、直線運動検出結果

膜チップを用いたジェスチャ認識によるゲーム

5．考察

操作 ，1997年信学会総合大会、pp．364，1997【3］Numazaki，S・，＿叫0rishita，4・，Umeki，N・etall・以上の実験により、鏡面反射し左い表面

AKineticand3DImagehputDevice．CHI98

特性を持つ球形物体が対象物体である場合、その位置を補正モデルを用いて精度良く求SUMMAR℃pp．237−238，1998

めることができることが示された。これは【4］Nesi，R，Bibo，A．b．AⅥsion−based3−D
Mouse・Human CoIPPuter●Studies，Vbl・44，

限定条件のようにも思える。しかし、モーpp．73−91，1996

ションプロセッサの典型的な使い方は手の動きをとるものであり、この点で実際的な【5】梅木直子、森下明、沼崎俊一、土井美手法である。例えば、握りこぶしの3次元和子、 3次元画像入力装置とその利用についで ，情処研報，ヒューマンインタフェー

位置を追跡するボクシングのようなジュス

ス79−8，pp．43−48，1998−184−