画像の認識  理解論文特集

論 文

視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上豊浦 正広Ý

飯山 将晃ÝÝ

角所考ÝÝ

美濃 導彦ÝÝ                 

         あらまし 視体積交差法では，対象物体を観測するカメラ台数が多ければ多いほど復元形状の再現性が向上す
るが，カメラを配置できる空間の制約によりカメラ台数を無制限に増やすことは難しい．これに対して，もし対象物体の剛体運動を各時刻の視体積から推定することができれば，複数の時刻でのカメラ画像を統合して，一つの時刻で得る視体積よりもより再現性の高い視体積を得ることができる．そこで我々は，この考え方に基づき，運動する剛体物体を観測することで，時系列で得られる対象物体の画像を統合し，多くのカメラを用いたときと同等の復元形状を少ないカメラ台数で得ることを目指す．この際に対象物体の運動を推定する必要があるが，これは特徴点を各時刻の視体積から抽出することで行う．特徴点抽出で問題となるのは，視体積が物体が占める領域以外に余分な領域を含むことである．このために，物体表面に現れる特徴的な部分を特徴点として抽出しようとすると，その特徴点が余分な領域に覆われて視体積表面上に現れないことが起こる．つまり，各時刻の視体積
から時系列で安定して抽出される特徴点を得ることが難しいのである．我々は各時刻ごとのカメラ画像から視体積を求め，更に視体積をシルエットに投影し，余分な領域に覆われない点を抽出する手法を提案する．このような点を特徴点として用い，精度の良い運動推定を行うことができた．シミュレーション実験において，多くのカメラを用いたときと同等の復元形状を得られることを確認し，実画像を用いた実験でも復元形状の再現性の向上を確認した．
キーワード 視体積交差法，特徴点抽出，運動推定，時系列データ，標本化誤差

ジファインダを用いた形状復元の適用が困難な物体にまえがき

対しても形状復元が可能なためである．

多種多様な物体の三次元形状復元の手法として視体

視体積交差法では，原理的にはカメラ台数が増えれ

積交差法 ， がある．視体積交差法は，複数のカば増えるほど，より物体の最小凸包に近い復元形状をメラで対象物体を観測して得られるシルエットから対得ることができる．近年，カメラは低価格になり，大象物体の形状を復元する手法である．視体積交差法

量カメラ環境の構築が容易に可能となったものの，カは，博物学のように多様な物体を対象に形状復元を行

メラを配置できる空間の制約などからカメラ台数を無う必要がある場合の手法として大変優れている．これ

制限に増やすことは難しい．そこで，本研究では数十は，視体積交差法が物体表面の色変化に乏しい物体や台程度の現実的に準備できる台数のカメラを用いた環レーザを吸収する物体など，ステレオ視やレーザレン

境で，運動中の物体に対して時系列で撮影された画像を統合することで，カメラ台数を増加させたときと等Ý 京都大学大学院情報学研究科，京都市

価な視体積を得ることを目指す．

ÝÝ 京都大学学術情報メディアセンター，京都市

することにより，カメラと物体の相対的な位置関係が                 !" #  # !$  %                !
電子情報通信学会論文誌

対象物体の運動が剛体運動である場合，物体が運動変化し，各フレームで撮影された画像を新たな視点位
置からの画像とみなすことができる．これを 時系列

     

 

年

月

電子情報通信学会論文誌    

画像の統合 と呼ぶ．時系列画像の統合により，もとされすぎて運動推定がうまくいかない現象がしばしばもとのカメラ台数に基づく復元形状よりも最小凸包に発生する．また，画像のシルエットにノイズが含まれ近い復元形状を得られることが期待できる．視体積交ている場合にも運動推定に誤りが起こりやすい．これ

差法では，もし無限台数のカメラを用いて視体積を構らの手法の問題点については， で詳しく述べる．

築できた場合には，復元形状として物体の最小凸包が以上のような従来研究に対して，本研究では色情報得られる．そこで，本論文では復元形状が物体の最小を用いず，シルエットのみを利用し，かつ，そこから凸包に近づくことを再現性の向上と呼び，時系列画像得られる各時刻の視体積の形状から三次元の特徴点をの統合によってこれを実現することを目的とする．

抽出して，運動推定を行う．

なお，視体積交差法では物体の凹面を復元すること

一般に各時刻の視体積から時系列で安定した特徴点

は原理上不可能であるが，このような視体積交差法にを抽出することは難しい．なぜなら，視体積は物体がおける凹面の復元問題は本稿では議論の対象としない．

占める領域以外に余分な領域を含むため，物体表面に実際，この問題に対しては，既に の現れる特徴的な部分を特徴点として抽出しようとする

考え方に基づいて，表面の色情報を用いて視体積交差と，観測時刻によってはその特徴点が余分な領域に覆法で得られた復元形状をもとに凹面も復元する手法 

われて，視体積表面上に現れないことがしばしば生じが提案されている．このような 

るためである．





 



におい

ても，カメラ台数は多ければ多いほど復元される形状

この問題に対し，本論文では視体積をシルエットへは再現性が高いという性質があるため，本研究はこれ再投影することにより，各時刻の視体積から余分な領らの手法の性能の向上にも有効であると考えられる．

域に覆われない物体本来の表面上の点を抽出する手法

本研究と同様，カメラと物体の相対位置の変化によを提案する．

り，再現性の高い形状を復元する手法としては，ターンテーブルを用いる手法 

ではまず，本研究の背景である視体積交差法につがある．このよういて説明し，物体の運動を知ることによって仮想的なな手法では，物体の運動方向がターンテーブルの回転カメラ台数の増加を実現するアプローチの原理につい軸周りの回転のみに限定され，回転軸の周り以外の視て説明する． では各時刻の視体積上で特徴点を求め

点方向からの情報を得ることが難しい．また，ターンる手法を提案し， では特徴点からの物体の運動推定

テーブルに接する部分の形状復元も難しいという問題

手法について説明する． では実験結果によって本手がある．

法による形状復元の再現性の向上の程度を示し， でこれに対し，  ら  は画像上で物体の特徴

今後の課題について議論する．

点を追跡し，物体の運動を推定することによってカメ

ラ台数を増加させた場合と同等の視体積を得る手法を復元形状の再現性の向上

提案している．また，築澤ら  は時系列画像統合に

本章では視体積交差法の原理を説明し，物体の運動

より，手持ち物体の視体積構築を可能にしている．しによる復元形状の再現性向上のためのアプローチにつかしながら，これらの手法では特徴点の追跡に物体のいて述べる．

  視体積交差法

色情報を用いており，物体表面の色変化に乏しい物体への適用が難しいことから，表面の色変化に乏しい物

視体積交差法では，複数台のカメラで対象となる物体であってもシルエットさえ得られれば形状復元が可体を観測する．物体はすべてのカメラの観測範囲内に能であるという視体積交差法の本来の利点の一つが失収まるものとする．以下ではカメラ

われるという問題がある．

積交差法の原理を説明する．

一方，画像のシルエットから得られる情報のみから，
エピポーラ拘束条件を使って剛体運動推定を行う手
法 



も提案されている．これらの手法では特徴点を対応付けして三次元の運動推定を行うが，特徴点はある二次元画像のシルエット境界領域に投影される点のうち，他の画像でもシルエット境界領域に投影される点を用いる．この場合には，特徴点が多く抽出台の場合の視体

図  に 示 す よ う に ， 番 目 の カ メ ラ         の観測範囲に物体  が存在するとき，物体  は  の画像上に投影され、その投影像は二次元画像上のシルエット  として得られる．
このことから，逆にカメラ  における物体  のシルエット  が得られたとき， は  のレンズ
中心を端点とし， 上の任意の点を通る半直線の集論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上
Camera Cl

t=t 0
Camera Cm

Silhouette R m
Projection matrix
Pm

Projection matrix
Pl

CameraVisual hull V

Visual hull

CameraVisual hull
Integrtedvisual hull
CameraCameraVisual cone
Vl Object OVisual coneVm  

図

視体積交差法  

分かる．この開空間をカメラ で表す．これは 

における 視錐体

とき視錐体   &    について，式  のような積領域  を考え，視体積 と呼ぶ．

 

'



  

図

 



 

   

視体積の統合      

える．ここで運動推定は，物体の運動が小さな近接するフレーム間で行うという仮定を設けておく．

の画像から得られる

物体  の  次元形状に関する情報に相当する．この   合からなる錐体状の開空間に内接して存在することが
と呼び，

t=t 0

t=t1

SilhouetteRl

例として， 台のカメラを設置し運動する物体を観察するとき，もとの位置での視体積と運動後の視体積が図  のように得られた場合を考える．
移動前の位置での視体積 図  は，運動後の位置にある物体 図   に対して，カメラを物体の運

動分だけ差し引いた位置に設置したときに得られる視

体積とみなすことができる．このようにして，運動後の視体積に運動前の位置の視体積の情報を統合するこ

この  を求めることで各カメラから得られる物体 とによって仮想的に， 台のカメラによって得られるの三次元形状に関する情報を統合することができる．

視体積 図   と同等のものが得られ，復元形状の視体積のもつ特徴として次の二つが挙げられる．

再現性が向上する．

（  ） 対象物体は視体積に常に内接する  標本化誤差による再現性向上の限界（  ） 視点が増加すればするほど視体積の体積は減入力データである画像が空間的に離散的なデータであるために，標本化誤差に起因する再現性向上の限界

少する
これらの特徴より，カメラ台数が多ければ多いほどが存在することがある．これは視体積交差法において視体積に含まれる物体領域以外の領域が減少し，視体

カメラ台数の増加による復元形状の再現性の向上を目

積は物体形状に近づくと結論づけられる．つまり，復指す場合に問題となる．したがって，時系列の視体積

元形状の再現性の向上を図るためにはカメラ台数を増の統合に基づく仮想的なカメラ台数の増加によって復やせばよい．また，このときの視体積に含まれる物体

元形状の再現性の向上を図る場合には，標本化誤差に領域以外の領域を 残余領域 と呼ぶことにする．

よる再現性向上の限界を明らかにしておく必要があ

本研究では，視体積  の表現にボクセルモデルをる．この標本化による復元形状への影響に関しては，がまとめているが，誤差の最大値が大きく用いる．ボクセルモデルでは，三次元空間中の各微小!

領域を  値ボクセルで表現し，視体積  に含まれる見積もられており実用的ではない．そこで本節ではまボクセルの値を ，そうでないものの値を  とする．

ず，標本化誤差が与える復元形状の再現性の向上の限

物体運動を利用した再現性の向上" 

界を明らかにする．

前節でカメラ台数が増えれば増えるほど，復元形状

まず，観測領域に含まれるすべてのボクセルのすべの再現性の向上を図ることができることを述べたが，ての辺を，すべてのカメラ画像上に投影したときに得実際にはカメラを配置できる空間の制約によりカメラられる投影幅を考え，その中の最大値が  ピクセル

台数を無制限に増やすことは難しい．そこで剛体を対幅であるとする． の値は，カメラと観測領域の位置

象として複数の時刻での物体の姿勢と視体積から各時関係，カメラの解像度，及び，ボクセルの大きさによ

刻間での物体の運動を推定して視体積を統合することり変化する． が大きくなるほど，視体積に与えられによって，カメラ台数を仮想的に増加させることを考る標本化誤差は小さくなる．以降では， を用いて標電子情報通信学会論文誌   
表

Outside of sillhouette

各対象物体の変数値と

Samplingpitch

2 pixels

Outside
error

#
+
 
   

Target object

Insideerror
Inside of sillhouette

図  標本化誤差による視体積表面上の誤差             

本化に起因する再現性の向上の限界について議論を進




める．
カメラ画像中の一つの画素が物体領域に含まれるか，







に達するときのカメラ台数   $%& $'%&(()
$%& **&* ')
$%& $('*'  $)$%& *( , $()

( )
)

&


 

!  "   




*&
*,$
,
*







こ の 式 に よ れ ば ，例 え ば

ボ ク セ ル 幅#定される．このときに，ある画素に含まれるシルエッ  #    ピクセル幅とするときには， $ が標本化に起因して生じる誤差であるとトに注目し，その画素に収まる真のシルエット上の各計算できる．一般的に対象物体は球体ではないため，

点と画素を代表する座標との距離を考える．これが最視体積の表面積は対象物体が球体であるときよりも大でピクセル幅であるとすると，視体積表面には最大きく， の実際の値は式  よりも大きくなる．物

大で ボクセル幅の形状誤差が生じる．

背景領域に含まれるかは画像中の各画素の値により決ここで標本化誤差の最大ピクセル幅について考える．ある物体が与えられるときのシルエットの境界は
図  に示すように，各ピクセルの内部に収まる．

体領域に含まれるボクセル数が  であるとき，半径)   ボクセル幅の球と同数のボクセルを含む．よっ(
以上の割合でて，視体積表面には  ) )(
誤差が生じると計算できる．

この性質に基づき，再現性の向上が限界に達するカ

このとき，画像上において，標本化誤差によって間



 



違って物体領域にあると判定される背景領域の点は最メラ台数をシミュレーション実験によって求めた．シ

大でピクセル幅だけ実際の物体領域の境界線から

ミュレーションデータを用いて，カメラ位置をランダ

離れた位置に存在することになる．逆に観測空間中でムに与え台数を増やしたときの，視体積に含まれる残

余領域のボクセル数の変化を調べた．シミュレーショ



も，標本化誤差によって間違って背景領域と判定され

 ボクセル幅だけ実際

ン実験では，球のほかに立方体，トーラス環， での物体領域の境界線から離れた位置に存在することに用いる恐竜の形状データを用いた．それぞれの物体のる物体領域の点は，最大でなる．つまり，画像の標本化誤差は物体領域の境界線から内外に最大で

ピクセル幅だけ生じ，これにより視体積表面には最大で ， ，及び，これらから計算される

 ボクセル幅の誤差が生

カメラ台数による残余領域のボクセル数の変化を図じると考えることができる．これが画像の標本化に起因する再現性の向上の限界である．

いる．

実際には，画像の標本化によりこれほど大きな誤差の値を表  に示した．
に示す．ただし，縦軸はを基準として表現されて球において残余領域に含まれるボクセルの数が視体が生じることは考えにくく，各カメラからの物体のシ積に含まれるボクセルの数に対してルエットを得る際に，物体領域と背景の輝度値が大きは，カメラ台数が  台以上のときであった．球以外

以下となるのく変わらず，物体領域が画素の半分以上の面積を占めの物体についても，残余領域が視体積のるときに物体領域，そうでないときに背景領域であるには，球のとき以上のカメラ台数が必要であった．表

と判定されるとすれば，画像の標本化誤差は最大で面に突出する部分があるような物体では，より多くの

 

ピクセル幅だけ生じることになる．

仮に対象物体が球体であるとし，その半径がセル幅であり であるとすると，表面に生じる誤差領域の体積の視体積全体に対する割合の式で表される．



ボク
は以下

以下となる

カメラ台数が必要となることも確認できる．
ここまでの議論により，復元される視体積表面に生じる，全体の程度の体積を持つ誤差領域は，標本化誤差によるものであり，時系列情報の統合により解決されるものではない．このことから，時系列情報の統論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上

ことに注意する．
ここで，運動追跡に用いる特徴点に求められる性質を考える．これには以下の二つが挙げられる．
（  ） 残余領域に覆われていない物体領域上の点である（  ） 運動推定を行うフレーム間で対応するボクセ
ルが得られやすい
このうちまず， の性質をもたない点とは視体積の残余領域に含まれるボクセルである．このようなボ
クセルは，カメラと物体の位置関係が変化すると，視図 * カメラ台数と残余領域の推移 * -  


 .





 

体積には含まれないことがあり，運動推定のための特  / 徴点として適切でない．
しかし，残余領域に覆われていない物体領域上のボ

クセルを視体積のみに基づいて判別 抽出することは合によりカメラ台数を仮想的に増やして復元形状の再容易ではない．あるフレームで抽出された残余領域に現性の向上を目指す場合には，正しい形状から欠損す

覆われずに視体積表面上に現れていたボクセルが，次る領域及び残余領域をともにのフレームでは残余領域に覆われて視体積表面上に現以下に抑えることを目れないことがあるためである．

標とする．
また，標本化誤差以外に再現性の向上の限界を与えまた， の性質を持つ特徴点を視体積形状のみかるものとして，物体観測時に生じるカメラのノイズがら求めることは困難である．各フレームでの視体積は，挙げられる．視体積交差法では，カメラのノイズによそれぞれ異なる形状の残余領域をもつためである．たりシルエットに欠損が生じると視錐体が欠損する．視だし，運動推定を行うフレーム間において，少数の特体積  はそれぞれのカメラで得られるシルエットか徴点が対応するボクセルを持たないときには， でら計算される視錐体の積領域で表現されるために， 示すロバスト推定を行うことにより運動推定が可能で台のカメラのシルエット欠損による影響は，視錐体をある．

統合したものである視体積にまで及ぶ．このために，

そこでまず，各フレームの視体積に含まれる残余領数十台もの多数のカメラを使って視体積交差法を行う域に含まれないような  の性質をもつボクセルを，際には， 台すべての視錐体に含まれていなくても視体積と画像の両方を利用して抽出することを考える．

 



台のカメラの視錐体に含まれていれば視体積の要素に含めるという方法がよく用いられる ．
この手法では例えば，

 の場合， の式 '  







   

従来の特徴点抽出手法との比較の特徴点として，従来から % &'' 

の代わりに以下の式を利用することになる．

 



物体のシルエット情報から抽出できる物体表面上 

(．この点は， 台のカメラに対してエピポーラ

面を考え，シルエットから得られる視体積領域とこの

*)+



エピポーラ面が接するときに，その接点を残余領域に含まれていない物体領域に含まれると考えて，% &'& '(  &)

& '(  &)と呼ばれる点が提案されている  

特徴点抽出

本章では，対象物体の運動推定を行うための視体積からの特徴点抽出手法について述べる．

  特徴点に要求される性質
提案手法では視体積はボクセルで表現されるため，
視体積から抽出される特徴点もボクセルで表現される' 

(

と呼んで，運動追跡や形状のスムージングのための特徴点として採用している．
図  は % &'& '(の抽出の様子である．

しかし，これらの点は物体領域に含まれないことがある．エピポーラ面上に複数の視体積領域の点が存在するときがこれにあたる．
図  に示すように，物体に対して  枚の画像が与えられると，白抜きの丸で示した点が % &'& '(

電子情報通信学会論文誌    

Projection matrix
Pm

Epipolar line

Epipolar line

Visual hull V
Emerged Voxels
edge mImage of C m

Frontier points

図 '      '      %

図%

境界要素への投影

!    のボクセルが投影されない
表出ボクセルの抽出の様子を図  に示す．塗りつ
ぶされたボクセルが表出ボクセルである．ただし，図において，

はカメラ 

の射影行列， はのシルエットの境界領域， は視体積である．

このようにして得られた表出ボクセルは，物体領域に含まれるボクセルであることが視体積交差法の原理により保証される．なぜなら，視体積交差法の原理か
Frontier points

図$    が物体領域と一致しない場合 $ 0         らシルエットは視体積の投影像に一致することが保証されるためである．もし，表出ボクセルが物体領域に含まれないとすれば，  の条件から図  で示す視体積の投影像はシルエットに一致しないことになり，ことして抽出されてしまう．しかしこの点は物体領域にの保証が成り立たなくなる．

含まれない点である． 台のカメラそれぞれでのシル

また，表出ボクセルは物体の運動が小さいとき，運エット境界領域画素に対する視線が，物体領域以外で動する前後で対応するボクセルが特徴点として抽出さ交差する場合にこの状況が起こる．もし物体領域に含れやすい．つまり， で述べた特徴点に求められるまれない % &'が視体積に含まれれば，特徴性質であった，フレーム間で対応するボクセルが得ら

点に求められる性質  を満たさない特徴点が得られれやすいことがいえる．このことは，物体形状で突出る．対象物体が複雑になればなるほど，この問題が多しているような部分が表出ボクセルとして抽出されく起こることが予想できる．そこで以下に述べる提案

やすいことから説明できる．図  にこれを示す．突出

& '(

手法では，同じ視線上に存在する点の数を考慮に入れ，した形状をもつ物体の表出ボクセルを求めた図 ，

複数の点が同一の視線上に存在するときに，それらの 

点を特徴点として抽出しないことで，この問題を解決

その位置変化が小さければ，丸で示した点を含むボク

する．

セルが表出ボクセルとして抽出され続ける．一方，突  再投影による特徴点抽出手法

ではカメラと物体の相対的な位置が変化しても，出した形状を持たない物体の表出ボクセルを求める

各フレームでの画像からそのフレームでの視体積を

図  ，* ではカメラと物体の相対的な位置変化に構築した上で，図  のように視体積表面上のボクセル

よって，その位置変化が小さくとも，丸で示した点をを画像へ再投影する．このときに，以下の二つの条件

含むボクセルが表出ボクセルが抽出されないことがあを満たすボクセル  を特徴点として採用し，表出ボク

る．これは他のボクセルからの自己隠ぺいの起こりやセルと呼ぶことにする．

すさに起因するものであり，物体上の突出した部分ほ

 は一つ以上の画像のシルエットの境界領域画素に投影される が投影される画素には  以外の視体積表面上

ど表出ボクセルとして抽出されやすい．
結論として，物体の運動が小さいという仮定のもとで，表出ボクセルは前節に述べた特徴点に求められる

論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上
t=t i

t=t j

Projection matrix
Rti*+   ,   ! *-+   ,   !-   -   

Projection
point rtj

Object O ti

Object O tj

A point of objectoti

A point of object
otj

図 & 記号の定義 & 1 2     *+   ,   ! *+   ,   !
      
図 ( 相対位置の変化による特徴点の変化 ( +   /             !    

Projection matrix
R tj

Transform
matrix
Projection
titj
point rti
Dより，線形性が高まり，収束法を適用する際に局所解に陥りにくくなる．

回転行列    は， 元数       &  )  を用いて表すと，以下のようになる．
二つの性質をもつといえる．
しかし，すべての表出ボクセルが，突出した部分に              

対応するボクセルとはならない．カメラ配置によって                           は突出していない部分も表出ボクセルとして抽出され得るからである．そこで運動成分推定の際に，外れ値剛体変換行列を用いて異なる時刻の視体積を統合すを扱うことのできるロバスト推定を行い，突出した部る手法を説明する．まず，物体の画像への投影を考え分を表現する表出ボクセルのみを推定に用いる．このる．図  に示すように記号を定義する．
まず，時刻  で物体 + が占める領域を   とし、手法については  で説明する．
また，突出部分をもたないような物体を観測する  を   の要素とする．また， はカメラ  の射

とき，運動推定に有効な表出ボクセルが得られず，フ

影行列であり、時間によって不変であるとする．更に，レーム間で対応するボクセルが得られない場合がある．
どの程度の突出があれば適切な表出ボクセルが得られ，これを用いて運動推定を行うことができるかについては  の実験結果をもって考察を行う．



特徴点を用いて剛体運動を推定するとき，この運動を表す剛体変換行列を用いる．運動推定はこの剛体変
換行列を収束法を適用して求めることで行う．

  剛体変換行列
剛体変換行列    は、時刻  と時刻  の間の物

 の回転移

次のように表すことができる．



 

)

ただし，) は      ならば、        となる。同様にして、     ならば、



動行列    と平行移動成分ベクトル    を用いて，

 で画像に投影すると、これは   の要素となる。
これを式で表すと、

表出ボクセルを用いた運動推定

体の運動変化を示す斉次座標行列で、

 は   をカメラ  のスクリーンに投影した点であり，  がなす投影領域を   とする．
このときに、  を      により移動した点を              
であるといえる。この式は，   と   が与えられれば   の要素である可能性をもつ   の集合が求められることを示す．この集合は時刻  において，実際 の零ベクトルである．剛体変

換行列は回転、平行移動の変数を決定することで得られる．また、         が常に成り立つ．

ここで，回転行列には  元数表現を用いる．これにとは異なる視点配置で求めた視体積に等しい．つまり，
時刻  で求めた視体積と    と   から求めた視体積の積領域を利用することにより，時刻  での視体

積と時刻  の視体積を統合することができる．



剛体変換行列の推定

誤差関数を最小にするような剛体変換行列    を電子情報通信学会論文誌    の収束法  を用いて求める．,&- )) の収束を基準として表面に正弦波の突出部を持つ物体を用い法はその他の収束法に比べ，多くの変数を持つ関数にた実験を行い，手法が適用できる範囲について考察し対して収束が速く，局所解に陥りにくいという性質をた．更に，現実に存在する物体の中で突出の程度が少もつ．また，ロバスト推定を用いて，フレーム間で対ないと考えられる複数の物体に対して手法を適用して，応する点をもたない特徴点の推定結果への影響を小さ

提案手法の適用範囲を確かめた．最後に，実環境におくする．

いて実験を行った．

,&- ))

時刻  で求めた表出ボクセルは，理論的には剛体変  恐竜形状によるシミュレーション実験

換行列    により移動させると、時刻  で求めた

まず，提案手法の精度を評価するために，シミュレー

表出ボクセルに一致する．しかし実際には，標本化誤ションデータを用いた実験を行った．三次元データに差や表出ボクセルのうち物体の突出した部分に相当しは，形状が既知である恐竜の形状を用いた．

ないボクセルが抽出されることがあり，これらは完全には一致しない．そこで誤差関数 . を定め，これを最小化する剛体変換行列    を ,&- )) の収束法を用いて求める．時刻  で求めた表出ボクセル  を剛体

変換行列    により移動させたとき，時刻  における表出ボクセルのうちで最も近くにある表出ボクセ
ルを  に対応する点と考え，この点との  乗距離を求める．誤差関数はこの  乗距離が   以下である

対象物体を各フレーム間で ， ， 軸方向に  ボク

セル平行移動， 軸の周りに  回転移動させ，正 面体の頂点に配置した  台のカメラを用いて，提案手法を適用した．
物体を  軸周りにのみ回転させるときに  周期で同じ画像が現れること，また，カメラが物体に近接していない場合には原点に対して対称に位置するカメラからはほぼ同じ画像が得られると考えられることから，

 

ものの平均をとった値に相当する．誤差関数 . を以下実験では 

のように定める．

用いて，時系列画像を統合し，全周の情報が得られる











フレーム分の画像情報をようにした．

      &" ただし、  

まず，提案手法で特徴点群から得られた運動推定結




  
 

ここで， ， はそれぞれ時刻  ， での表出ボ

クセルの座標を表し，  は時刻  ， の間の移動距果を与えた運動とともに示す．表  は表出ボクセルから推定された各軸周りの回転運動成分であり，表  は各軸方向の平行移動成分である．  で述べた  ，
の値はそれぞれ， ピクセル幅， ボクセル
であった．
回転移動成分では絶対値の平均で  ，絶対値の最大で  の推定誤差が生じた．平行移動成分では離の最大量を定めたしきい値である． のような外れ絶対値の平均で  ボクセル，絶対値の最大で 値の影響を小さくする関数を用いて収束法を適用する

ボクセルの推定誤差が生じた．これは突出した部分以

ロバスト推定は，大きく離れた対応点をもつような表外から抽出された表出ボクセルの影響によるものであ出ボクセルが収束に与える影響を小さくしている．

ると考えられる．

隣接するフレーム間で物体の運動量が微小であると平行移動成分については，ほとんど  ボクセル幅以

仮定し，剛体変換行列をまず，隣接するフレーム間で内の誤差に収まり標本化誤差に吸収される程度の精度求める．任意のフレーム間での剛体変換行列    は
以下のように求める．

                     



実

験

はじめに，恐竜の形状を用いたシミュレーション実の運動推定が行われているといえる．回転移動成分については，数値だけでは標本化誤差で吸収される範囲にあるかどうかは判別できないため，統合視体積の結果によって判断する．


フレームで得られる視体積と統合視体積の差を図を用いて説明する．このときには  

台分のカメラ情報を用いて，視体積を構築したことに験によって手法の精度を評価した．次に，提案手法がなる．図  は再現性の向上の限界とみなすことの有効に働くために必要な突出の程度を調べるために球できるカメラ  台を用いたときに構築される視体

論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上
表  回転移動成分
  -     




*
'
$
%
(
&
,


*
'
$
%
(

/      
3      14    14    14,,, 5,, ,,, 6,,,, 6,,,,, 5,, ,,, 6,, *,, 6,,$,,, 5,, ,,, 6,, $,, 6,
,,, 6,,& ,,,,,
(,, 6, *,,, 6, * ,,,,,,,, 6, &,,, 6, $ ,,,,,,, 6,*,,, 6,, ,,,,,*
*,, 6,*,,, 6,, ,,,,
$,, 6,%,,, 6,$ ,,,, *(,, 6,
,,, 6,,,,, ' ,,, 6,&,,, 6,% ,,,, & ,, 6,*$,,, 6,* ,,,,, *,, 6,',,, 6,',,,, $,, 6,'$,,, 6,' ,,,,$ (,, 6,$*,,, 6,$$ ,,,,% ,,, 6,%*,,, 6,% ,,,,' ,, 6,%&,,, 6,%$ ,,, *,, 6,(,,,   ,,, $,,  
表  平行移動成分
        




*
'
$
%
(
&
,


*
'
$
%
(



/ /  / 

14

14
,,
6,,*
,,
6,,
,, 5,,( ,, 5,,
,, 5,, ,, 5, *,, 5,' *,, 5, *',, 5,'',, 5, $,, 5,'$ $,, 5,
%,, 5,$, %,, 5,*(,, 5,$ (,, 5,&&,, 5,'( &,, 5,*',,, 5,$,,,, 5,',, 5,*&,, 5,',,, 5,'$,, 5,'$,, 5,$
,, 5,$,*,, 5,%&*,, 5,%&',, 5,((',, 5,($$,, 5 ,$,, 5,&,%,, 5 ,%,, 5 ,(,,   (,,   .  *,,,,  





 

      / 

 

  


3 / 

14
,,
6,,$
,,
6, ,
,,
6,,*
*,,
6,,*
',,
6,,*
$,,
6,,(
%,,
6,,&
(,,
6,,'
&,,
6,,(
,,, 6,,&,, 6,,&,, 7 ,,,,, 6,,*,, 6,,*',, 5,,$$,, 5, %,, 5, &(,,         

図 ,( フレームでの視体積統合結果
 , -         (  

また，数値的な評価を行うために， 台を用いて得られた視体積を再現性の向上の限界とみなすことのできる視体積として，正解の視体積とみなし，この正解の視体積と提案手法によって統合された視体積との違いを検証した．評価には，提案手法で得られた視体積に含まれ，正解の視体積に含まれないボ
クセル ** ' &)

，逆に提案手法で得られた&/ )(

視体積に含まれず，正解の視体積に含まれるボクセ
積，図   は  フレームの情報のみから構築される

ル " (( 視体積，図   は図   で示した視体積から得ら" (( 

れる特徴点群，更に，図   は  フレーム統合時

し，縦軸はの視体積である．
図   では， の図  で示した突出した部分に多く特徴点が抽出されていることが確認できる．図
 
*

，%  では，腹部の残余領域が減少し，図  ，に比べて背部の角度のある部分がなだらかになっていることが確認できる．

&/ )(&/ )(

，及び，両者の和 ** ' &) 0を用いた．これを図  に示す．ただを基準に表現されている．

台を用いて得られる視体積は  ボク

セルで表され，   ピクセル幅であるので，




 

とするときには，て， ボクセルが ** ' &)
&/ )(



  $である．よっ&/ )(と " (( の目標値となる．

統合するフレームが増加するにつれ，単調にエラー電子情報通信学会論文誌   

図



視体積の再現性の向上  8 $%&-    .

 * -    .
  9





&$
$%&
'$*
&(
&

   /   8 $%&
図   の違いによる誤差減少の違い  -    .
     /  .  7

 が異なる環境下での視体積の再現性の向上

表*

$ (
*( ,'* $&%$%%,($($,(&

 

*&)
$()
$()
%()
%()



   /  . :;  0  <  
(
,&*
%%
&'
,$
'%
$,
,
&
'*
,$,
 *
''
,%
&

ての条件下で，視体積の再現性の向上が確かめられた．
以上の結果より，提案手法で得られる表出ボクセル
は画像情報の統合に十分な運動推定を可能にするといえる．また，得られた推定運動によって時系列の画像情報を統合し，視体積の再現性を向上することができた．

である ** ' &)
少した．** ' &)&/ )(と " (( 

&/ )(

&/ )(

の和が減

の数は， フレームでの視

球に近い形状によるシミュレーション実験

次に，提案手法の適用のためにどの程度の大きさや体積では   ボクセル，$ であったの数をもつ突出部分がどの程度の数だけ必要となるのかに対して，統合後の ** ' &)を確かめるために，半径&/ )(は  

の球を基準として，表面にボクセル，$ となり，時系列画像の統合により正弦波の突出部をもつような物体を準備して実験を標本化誤差の限界に再現性の向上が近づいていること行った．以下の式に示すように，媒介変数 ， を用い，    で形状を表現する．

が分かる．
提案手法で得られた " (( &/ )(の増加は運動推定誤差によって引き起こされるものと考えられる．このボクセルの数の増加は，現実のカメラ増加によっては起こらない問題であり，提案手法の問題点であるといえる．しかし，" (( &/ )(の数は  フレーム統合時において   ボクセル，$ であり，標本化誤差による再現性の向上の限界であるの範囲内にとどまっている．よって，再現性の向上を阻害するものではないと考えられる．
また，ボクセルの大きさを変えることで  の値を
段階に変化させて，同一の恐竜の形状に対する実験を行った． フレーム統合した時点での ** ' &)

 
 

 &( 
 &( 
 (            &( !   &( !    &( !  


 



&(

 ( 



  &(  &(   0 (   &(  (  
  0
 

0

と

として，
 は振幅を表し，! は周期を表す．
! ，  を様々に変化させて提案手法を適用すると，! ，
 が大きいほど表出ボクセルを特徴点とする運動推の和をグラフに示す．

定は正確になり，再現性の向上が行われた．ここでは，

 が異なるときには， フレーム統合時に得られる!        にそれぞれ設定した形状に対して視体積の再現性にばらつきはあるものの，調べたすべ

提案手法を適用した結果を示す．それぞれの形状を図，" (( 

&/ )(

&/ )(

，** ' &)

&/ )(

&/ )(

と " (( の和を表  に示す．また図  に， の値及び統合に用いたフレーム数に対する ** ' &)" (( 

&/ )(

&/ )(

 

論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上 !   /     /    ( フレームでの視体積統合結果  8*=  8  -         (  
 8*=  8

図  !   /      ( フレームでの視体積統合結果  8*=  8* * -         (  
 8*=  8*

，図 ，図 ，図  に示し，視体積から得られる表出ボクセルを図  ，図  ，図

，図   に示す．

 ， 及びの値は表  のようになった．なお，!   /     /    ( フレームでの視体積統合結果  8$=  8 ' -         (  
 8$=  8

図 '   / 

図 *



 !   /     /    ( フレームでの視体積統合結果  8$=  8* $ -         (  
 8$=  8*

図 $







 

とした．

の恐竜と同様の運動を与えて，評価を行った．これを図  ，図  ，図  ，図   に示す．

!      の形状を除いて， フレーム目ま電子情報通信学会論文誌    

表 ' 各対象物体の変数値

 '    8 *  8 
 8 *  8 * 8 $  8 
 8 $  8 *でで ** ' &)

$%&
$%&
$%&
$%&

&/ )(

!  



&*,'
*$'
,(((&
*と " (( 

&)
&')
& )
&,)

&/ )(

の和は単調

 

! 



  / に減少し，提案手法が有効に働くことが確認できた．

!      の形状では，突出部の幅と数がともに十分でないために， フレーム目以降で ** ' &)&/ )(と " (( &/ )(の和が増加した．今回実験した環境下では，!   以上または



 

以上であ

ることが提案手法の適用のために必要であることが分かった．
なお，上で用いた   ，
には，



 

 

の物体の場合  /   のときの突出の幅が全体の $ を占め，   図 %( フレームでの視体積統合結果 バナナ % -         (     

最大で  ピクセル幅として投影される．!   の場合には，おおよそ  おきに突出部分が存在する計算になる．

  様々な形状によるシミュレーション実験
次に，形状復元の対象として選択されることが考え得る現実的な物体のうちで突出部の小さい形状に対して提案手法を適用し，どのような形状に対して提案手法が有効に働くのかについて調べた．対象物体として，
バナナ，ティーポット及びチェスの駒を選択し，シミュレーション実験を行った．それぞれの物体は，突出し た部分が少なく表出ボクセルの抽出が難しいと予想さ

! 



  / れる形状として選択した．図 ，図 ，図  はそれぞれバナナ，ティーポット及びチェスの駒に対して提案手法の適用を行った結果である．それぞれの形状に対して， の恐竜と同様の運動を与えて，評価を行った．
図    に示す統合結果のグラフでは， フレーム目以降で ** ' &)&/ )(と " (( 

&/ )(

の和が

増加している．よって，図  に示したバナナの形状

  /   

に対しては提案手法が有効に働かないといえる．

   図 (( フレームでの視体積統合結果 ティーポット ( -         (    

ま た ，図   の グ ラ フ は ，図   に 示 し た!  ，    の表面に正弦波の突出部を持つ球について得られたグラフとよく似ており， フレーム
目で  程度の ** ' &)&/ )(が残り，それぞれ 

フレーム目と  フレーム目以降で ** ' &)と " (( 

&/ )(

&/ )(

の和が増加している．これは，図 に示したバナナの形状は，図  に示した，!  ， の表面に正弦波の突出部をもつ球と同様，表出ボクセルの抽出に十分な大きさと数をもつ突出がな
い形状であるためであるといえる．
一方，図  ，図    にそれぞれ示した統合結果

論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上

は， フレーム分の情報のみから ** ' &)" (( 

&/ )(

の和が 

&/ )(

と

前後であるような視体積が得られていた．この和は突出の大きさや数が十分であるような他の物体に対し，相対的に少ないといえる．
更に， の図  に示した物体ごとのカメラ台数と残余領域の関係からも，突出部の少ない形状である球やトーラス環では，少ないカメラ台数から正解の視体積 

! 



に近い視体積を得られることが分かる．これらのこと  / 

から，物体表面に十分な大きさや数の突出部がないよ
うな物体では，もともと，提案手法の適用があまり必要ではなく，逆に，物体表面に十分な大きさや数の突出部があるものほど，提案手法の適用が必要であるといえる．

  実環境実験
最後に，提案手法が実環境でも有効であることを示  /   

すために，実環境で計測した画像を用いて時系列画像   図 &( フレームでの視体積統合結果 チェスの駒 & -         (   9  の統合を行った．空間中に  台のカメラを設置し，対象物体を時系列で撮影した．対象物体は上から細い糸で吊るし，揺らすことで微小な運動を与えた．
図   から，実物体に対しても，突出した部分に対応する表出ボクセルが得られることが確かめられた．

では， フレームまでで ** ' &)&/ )(と " (( しかし，図   に示した  フレーム統合した視体の和が単調に減少しており，ティーポットとチェ

積では復元形状に欠損が見られる．これは，画像から

スの駒のそれぞれの形状では，提案手法が有効に働く

シルエットを抽出するときに欠損が生じたためである．

といえる．また，図  ，図    のグラフは，図画像のシルエット欠損による視体積の欠損は， で&/ )(，図   にそれぞれ示した !  ，

及述べたように視体積交差法がすべてのカメラ画像からの表面に正弦波の突出部をもつ球得られる視錐体の積領域を求めるために起こる問題でについて得られたグラフと， フレーム目と  フレー

あり，実環境でカメラ台数を増加させる場合にも起こ

ム目での ** ' &)る．シルエット抽出例を図  に示す．

 び !  ，



 

&/ )(

と " (( 

&/ )(

 

の和の

シルエットの抽出は取得画像 図  と背景画像値がよく似ている．図  及び図  に示したそれぞれの形状では，図  ，図   にそれぞれ示した図   をそれぞれ 12 空間に変換して差分値の!  ，    および !  ，    の表面に正大きい領域をシルエット 図   としたが，欠損は弦波の突出部をもつ球と同様，表出ボクセルの抽出に主に物体と背景色の近い部分で多く起こっていた．こ

十分な大きさや数をもつ突出がある形状であるといえの問題に対し，

る．このことは，図   および図    に示したれ図 ，  に示した．図  では，統合により

表出ボクセルが，突出部分に対応するところから得ら

れていることからもいえる．

を   に設定したものをそれぞフレームで得られる視体積よりも再現性の高い形状を復元できている．しかし，図   では，

を

このように，突出の大きさや数が少ないと考えられ大きく設定しすぎて統合の優位性が失われている．こる物体でも，形状によっては表出ボクセルの抽出が可の問題の解決のためには，画像からのシルエット抽出

能で，提案手法が有効に機能するものがあることから，の精度を上げることが必要である．

提案手法が有効に機能する物体は，必ずしも突出が顕著である物体のみに限らないことが確認できた．
また，突出の大きさや数が十分でないバナナや表面に !  ，

 の正弦波の突出部をもつ球で



む

す

び

本研究では，視体積交差法において時系列で得られる画像を統合し，現実的なカメラ台数で理論的限界の電子情報通信学会論文誌   

>   

# 

<?     

! 



      / 

 

  

図 , シルエット欠損 , +  


再現性を示す台数のカメラを用いたときと同様の復元形状を得ることを目指した．各時刻で表出ボクセルを求め，これを追跡することにより対象物体の運動推定を行い，別の時刻での画像の情報を統合して視体積の      8 ,




   8 ,，       8 




   8 ，       8 

!


   8 ，  

構築を行った．これにより，理論的限界に近い再現性をもつ復元形状を得ることができた．
今後の課題として，時系列の画像から背景差分を精度良くとることが挙げられる．実環境では，画像上にノイズが生じ，多くの画像情報を統合するときに問題となった．ノイズによるシルエット欠損の解消は，時系列に並んだ画像と視体積を用いて行うことで実現できるのではないかと考えている．
文

献@ A B" 0    CD : .= E  7    !       .=F    :  0  = '= = ',6 '(= &(@A : G = E.  1       7
    1 
=F     
:  0  =  %= =  ((6 &'= &&'@A D" D ?   #0 #  3= E:         =F   C +   = (= = &&6 (= ,,,
@*A : H 0I
 = J H 3    : = E#
7  1           7
 =F     #  0 +  <= =*= '(6'& = : ,,
@'A # #   C   = E:       7
               7 

図

' フレームでの視体積統合結果-         '       =F     
: 0  = ,=  ,=  ,& 6 ,&$= >  &&(@$A CH K = E:9   71       9    =F     
:  0  7

論文／視体積交差法における時系列画像の統合による三次元復元形状の再現性の向上

=  $= =  $7 %(=   &&*@%A # - ? .3= > 7 =   0  G =E- 7 
1   9  =F    L #LL-:     = *(6**$= ,,
@(A LD0 +  = # <? =    D  = E7
    2
  
M :1             7  7.  
=F  +  +     -    = %%6(*=
,,
@&A 築澤 宗太郎，鷲見 和彦，松山 隆司= E装着型視覚センサを用いた手持ち物体の  次元ディジタル化= F 情処学 +0
研報，  *7*，0  ,,*@ ,A #  = # <? = # #  3=    D  = E#        $1=F   + 
 +    -    = ='&6'&(= ,,,
@ A D   = :  =   " <?= EJ           1  =F

 
 :  #   -    :   #  :   -:#:
,,= " ,,@ A +      #  = EJ  
7  1   7  !        =F    -  ,,1, = "   #N     NN   = #  ,,
@ A - += D :  =   C L = E0           =F
 '   7
   + 
  +  = $&6
%'= &&'@ *A L +    : K
 = E#       .         7/  =F ":> :   -    B ? + O   +    + L = G!! = # = ,,,
@ 'A B " = E     
7 
1         .=F   B ?  #   6 "    +    1    
B#"+1;&%= $6&= -= #   &&%@ $A 1 # .=  =   - K= E/ /  7  .     = F   + 
 +    -    =  =*'7'= ,,,
@ %A B
= #:  ??= B  =  <  
= 丹慶勝市，奥村晴彦，佐藤俊郎，小林誠訳，"J0-+:G -+ #  += 技術評論社， &&
（平成 $ 年 , 月 ( 日受付， % 年  月 % 日再受付，$ 月 $ 日最終受付）

豊浦正広 （学生員）

平 ' 京大・工・情報工学卒．平 % 同大
大学院情報学研究科修士課程了．現在，同大学院・情報学研究科博士後期課程在学中．
コンピュータビジョン・三次元モデルの研
究に従事．

飯山

将晃 （正員）平 , 京大・工・情報工学卒．平 ' 同大大学院情報学研究科博士後期研究指導認定退学．同年同大学学術情報メディアセンター助手．コンピュータビジョン・三次
元データ処理の研究に従事．情報処理学会
会員．

角所

考 （正員）

昭 $ 名大・工・電気卒．平 ' 阪大大学
院工学研究科通信工学専攻博士課程了．平*$ 日本学術振興会特別研究員．平 '$
スタンフォード大学ロボティクス研究所客員．平 $ 大阪大学産業科学研究所助手．平& 京都大学総合情報メディアセンター助教
授．平 * 同大学学術情報メディアセンター助教授．視覚メディ
ア処理，コミュニケーション，インタラクションに関する研究に従事．博士（工学）．，:+0，情報処理学会，人工知能学会各会員．

美濃導彦 （正員）昭 ' 京大・工・情報工学卒．昭 '( 同大大学院博士課程了．同年工学部助手，昭$〜$ マサチューセッツ州立大学客員研究員，平元京都大学工学部附属高度情報開発実験施設助教授，平 % 同教授，平 & 京
都大学総合情報メディアセンター教授，平* 京都大学学術情報メディアセンター教授．画像処理，人工知
能，知的コミュニケーション関係の研究に従事．工博．，:+0，情報処理学会，画像電子学会，日本ロボット学会各会員．

 ' &(

3 '

&('  ' *

4 

3 '

-  '('  ' * (- ' '% '

** ' &)
:
;( 

&)"

& '( &% ))( % &" '  (") 

&

 * &
&

 ' "

&)"

'

7

() )) '



% '

 '

( 

* 9

'  '

&



'

(

( *# '

5 '

 '

() ))/'  '  % '

" (

(





:

 '

'-

5

 &7



&( " '&*(' & &%

( ('& 5(

 ' "

7

(



('

6

(



(' "' *' & * % " (( * Æ )'&/ )( &% '5)( 8 

"&' & )* ( '  ' &  &'&' &% ( ")' & *  ')' & " '&*#"&( * Æ )' *

(' "' *#(&* */'  ' *( ( ' '&((( 

' &( ' &( 

& '( "  (")) (  ' "   

& '( -( 8 

(""&' "&' & &% ''  * % &" '( '' '  ' "&" (' & " '&*# '/'  ' % ' &&( * " '&*()'# -(

))5# ( ''  "5% ' 5 - &# '&'() ))'  '  '()&" '

& '(# "&' & '  < # ' "(( *'#