論 文
多眼カメラを用いた任意視点人物像の実時間生成システム豊†

國田

稲見 昌彦†

前田 太郎†††

Real-Time Rendering System of Human Figures from Arbitrary Viewpoints
Using Multiple Cameras
Yutaka KUNITA† , Masahiko INAMI† , Taro MAEDA†† , and Susumu TACHI†

あらまし 遠隔面談コミュニケーションのために，写実的な人物像を実時間でバーチャル空間に投影する試作システムを開発した．このような用途では特に実時間性が要求されるために，本試作機は次のような特徴をもつ．
まず任意視点位置の画像生成法として，バーチャル空間上に配置した平面へ，多眼カメラで得た画像を切り出して投射するというシンプルな手法を用いる．この手法では，人物の幾何的な形状の取得が不要であるため，必要となる計算機パワーは極めて少ない．この際，バーチャル平面付近の被写体でないと生成画像の誤差が大きくなるが，これが一定の範囲内に収まる被写体の存在範囲を「 等価被写界深度」として定式化した．また実装では，多眼カメラで得られる映像信号のうち，画像生成に必要なもののみを走査線単位で選択してコンピュータに取り込んでいる．このように早い段階で情報を取捨選択することで，取込み用のデバイスが少なくても，画像の劣化なく高精細な画像を生成できる．このような特徴により，コンシューマ向けの低コスト PC で実時間の画像生成に成功し ，本手法の有効性を示した．
キーワード

相互テレイグジスタンス，バーチャルリアリティ，臨場感通信，実時間，Image-based Rendering

臨場感通信 [1]〜 [3] では，これらの問題を解決した

1. ま え が き「場」ともいうべき 3 次元共有空間を提示することを目

近年，パソコンにカメラを接続すれば インターネッ

指した．すなわち，コンピュータグラフィックによりト経由で遠くにいる人と手軽に映像つきのチャットを生成したバーチャルな環境の中に，遠隔地にいる人々

楽し むことができる．また，小型カメラを搭載した携の姿を合成し 「， 一堂に会している」という状況を提示

帯通信端末の製品が相次いで発表されるなど ，個人がする．ただし，その際の人物像の表現としては，あら「テレビ 電話」を利用できる状況は整いつつあるとい

かじめ個人ごとの幾何的な 3 次元モデルを用意しなくえる．しかし，そのようなシステムは，お互いのカメてはならない．また，視線の方向，表情，身振りなど

ラでとらえた画像をそのままやり取りしているだけで，を実時間で検出するために，膨大な計算機パワーを必「 同じ 空間を共有している 」という臨場感を提示する

要とするが，生成される人物像はそれに見合うだけのまでには至らない．その主な理由として，相手のいる

自然さをもつに至っていないという印象を受ける．そ

実環境がそのまま提示されると，自分のいる実環境との一方で，時間的に変化する人物の 3 次元形状を多眼の継ぎ 目が目立ってしまい，窓を隔てているかのよう

カメラのビデオシーケンスから取得し ，任意の視点かな感じを受けてしまうことや，提示される相手の画像

らの映像を生成する研究が 近年盛んであるが [4], [5]，はある位置にあるカメラから撮影された固定視点のも

特徴点の対応付けといった複雑な処理が必要であり，のであり，自らの視点移動に応じて見える相手の姿が現在の計算機スピード では実時間での処理はできてい変化しないということなどが挙げられる．

ない．
我々の 研 究し て い る 相 互 テ レ イグ ジ ス タ ン ス† 東京大学大学院工学系研究科，東京都
Graduate School of Engineering, The University of Tokyo,（ Mutual Telexistence ）[6]〜[15] においても，離れたTokyo, 113–8656 Japan

相手と臨場感をもって対面コミュニケーションを行う

Interfaculty Initiative in Information Studies, Graduate

ことを目的としてきた．臨場感通信と理念として共通†† 東京大学大学院情報学環，東京都
School of The University of Tokyo, Tokyo, 113–8656 Japan

電子情報通信学会論文誌 D–II

Vol. J84–D–II No. 1 pp. 129–138 2001 年 1 月

129電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1

する部分は多いが ，人物の表現に 3 次元モデルを用
いず，実際に多視点で撮影された画像をもとに，新たな視点位置からの「見え方」を生成する点が大きく異なる．このような画像生成法に関する技術は近年数多くなされ [16]〜[21]，一般に Image-based Rendering（ IBR ）と呼ばれる．IBR はモデルを生成することなしに実物体の写実的な任意視点画像を生成できるという特徴をもつが，空間的に密な多視点データを扱うため，比較的データ量が多くなりがちである．そのため，データを収集するのにオフラインで時間をかけるか，
個々のカメラの解像度を犠牲にして取り込むデータ量を減少させていた．一方，我々のシステムでは画像の取込みの段階でカメラの走査線単位で必要となるデー
タのみを選択して取り込むため，カメラの解像度を犠牲にすることなく実時間で任意視点位置の画像を生成することに成功している．

Fig. 1

図 1 バーチャル投影面を用いた写像
Mapping using a virtual projection plane.

このように，IBR のアプローチは写実的な任意視点
画像を生成するのに有効である．しかし ，バーチャル空間との合成を考えた場合，幾何的な構造をもつバー
チャル空間の中に，どのように「見え方」でしかない

IBR の生成画像を投影するかという問題が生ずる．物
体の存在領域の幾何的な情報を付加することにより解決した研究例 [22] もあるが，領域情報をあらかじめ指定する必要があり，我々が必要とする実時間での処理には適さない．

とする．そして，コンピュータ上の 3 次元空間中で，被写体があるおよその位置に透明なバーチャル平面を置き，生成する視点位置に応じて各カメラで得られた画像の一部をその平面に投影する，というのが大まかな画像生成の手順となる．以下，その具体的な手順を示す．
まず，図 1 のように 3 次元空間をデカルト座標系にとる．この際，水平方向を X, 鉛直方向を Y , 奥行方

本論文では，バーチャル空間中に透明なバーチャル

向を Z とする．ここで，カメラは平面 Z = 0 上にあ投影面を配置し ，そこへ人物像を投影するいうシンプ

り Z 軸を負の方向に向き，Z < 0 の領域にある被写ルな手法を紹介する．このバーチャル投影面はレンダ
リング時にはテクスチャマッピングの張付け面としての役割を果たす一方で，その前後でのバーチャル物体との遮へい関係を表現することができる．そしてこのような手法を用いた際，生成される画像に生じる誤差について明らかにし ，この誤差がある基準以内に収まるような被写体の存在範囲を「等価被写界深度」として定式化する．更に，試作システムの設計と特徴について述べたあと，これによって写実的な人物像を実時間でバーチャルな空間に投影できることを示す．

2. 基 本 原 理
2. 1 近似画像の生成法
本節では，複数カメラでとらえた被写体の画像をもとに，新たな任意視点位置における近似的な画像を生成する方法について述べる．その際の前提として，被写体の形状情報は未知，被写体のおよその位置を既知
130

体の像を得る．そして，近似画像を生成する視点位置
を P (XP , YP , ZP ) とする．なお，次節で紹介する試作システムでは，カメラを水平方向に一列に並べているが，この節では一般化のためにカメラが 2 次元に配列してあるとする．
ここで，被写体の 1 点 Q(X, Y, Z) の視点 P における本来の像 p̂ は，







X

xˆP
Y 

s  yˆP  = VP 
 Z ,
11(1)のように与えられる．ここで VP は透視変換行列で，−f

VP =  0
0

0

0

−f
0

0
1

f · XP

f · YP −ZP(2)となる．ところが (X, Y, Z) は未知であるため，p̂ を論文／多眼カメラを用いた任意視点人物像の実時間生成システム

直接求めることはできない．そこで以下のような手順のように点 P での近似像 p̃ に写される．ここで，被で近似的な像を得る．

写体 Q の位置 (X, Y, Z) は未知であるが ，既知であ

まず，あるカメラ i に注目する．Ci (Xi , Yi , 0) をカ
メラ i の投影中心とすると，空間上の点 Q(X, Y, Z)
は，









X
xi
Y 

s  yi  = Vi 
Z
1
1



−f
Vi =  0
0

0
−f
0

(3)

るカメラ i での像 (xi , yi ) を用いて，







ここで被写体の像は，本来，式 (1) によって与えられる (xˆP , yˆP ) であり，式 (8) により得られる (x˜P , y˜P )

f · Xif · Yi 0001とは異なる．そこで，両者の誤差ベクトルを ∆p とす

(4)

れば ，



∆p ≡

x˜P
y˜P



そし て いった ん こ の 像 を ，投 影 中 心 を Ci とし·て ，Z = −l0 なるバーチャル 投影面に 透視投影し ，Ti (XTi , YTi , ZTi ) に写像する．すなわち，

l0 /f

(5)


−l0 



(6)

VR =  00

するおよその距離に設定する．そし て，未知の Q の代わりにこの Ti を視点位置 P で透視投影し ，P での近似像 p̃(x˜P , y˜P ) を得る．すなわち，

x˜P



XTi



−ZP

0

XP

−ZP
0

YP
1



∆r ≡
(7)
=

XR
YR





−

Xi
Yi

0



0 
−ZP

(13)



l0
Z(l0 + ZP )Z(XP − Xi ) − ZP (X − Xi )·Z(YP − Yi ) − ZP (Y − Yi )

は



X

x˜P
Y 

s  y˜P  = VP Mi Vi 
Z 
1
1

(12)

更に平面 Z = 0 上での R とカメラ i の投影中心の差

結局，式 (3)，(5)，(7) により，被写体 Q(X, Y, Z)



(11)

分ベクトルを ∆r とおくと， YTi s  y˜P  = VP 
 ZTi 
1
1





X

XR
Y 

s  YR  = VR Mi Vi Z
11

ここで，この l0 を等価物体距離と呼び，被写体が存在Z(XP − Xi ) − ZP (X − Xi )Z(YP − Yi ) − ZP (Y − Yi )







(10)

線とカメラのある平面 Z = 0 との切片を R(XR , YR , 0)

1

0



とすれば ，

Xi
Yi 

0
0

xˆP
−
yˆP

一方，投影面上の点 T (XT , YT , −l0 ) と P を結ぶ直



0
l0 /f



となる．



XTi
 
xi
 YTi 
 = Mi  yi s
 ZTi 11

 0
Mi = 
 0



f (l0 + Z)
Z(l0 + ZP )(ZP − Z)=

れがカメラで得られる像である．

(9)のように，p̃ が得られる．

によりカメラ i の像面上の点 (xi , yi ) に写される．こ





x˜P
xi



s y˜P = VP Mi yi 
1
1

(14)


(15)

ここで被写体のカメラ平面からの距離を l ≡ −Z とおき，式 (11)，(15) により，

(8)
∆p =

f (l0 − l)∆rl0 (ZP + l)

(16)
131

電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1（ 1 ） カメラ平面上で各カメラの分担するボロノイ
領域 Γi を求める．
（ 2 ） 各 Γi に対応する像面上の領域 Πi とバーチャ
ル投影面上の領域 Ωi を求め，投影行列 Mi により Πi
から Ωi に画像を投影する．
（ 3 ） 投影行列 VP により，バーチャル投影面の P
における透視変換像を得る．
という手順により P における近似画像を生成できる．

2. 2 等価被写界深度
ここで δ を視点 P で許容され る最大誤差とする．
そして，視点 P における生成像のすべての点に対して |∆p| <= δ となる被写体の存在範囲を以下で示す．
式 (16) のとおり，像面上での誤差の絶対値 |∆p| は，|∆r| に比例する．ここで，カメラが等間隔 ε で並ん
Fig. 2εでいるとすれば ，|∆r| <= 2 となるカメラ Ci を必ず

図 2 各カメラの分担領域
Mapping regions of each camera.

選ぶことができる．よって，が成り立つ．すなわち，像面上の誤差ベクトルは，カ
メラ平面上での直線 Ti P との切片とカメラの投影中|∆p| <=

εf |l0 − l|·l0 (l + ZP ) 2(19)

また，[式 (19) の右辺 = δ] を l について解くと，以下に示す解 l = l1 , l2 (l1 <= l0 <= l2 ) を得る．

心の差分ベクトルに比例する．
次に ，カメラが 複数ある場合を考える．カメラ j ，
カメラ k (j =| k) におけるバーチャル投影面への写

l1 = l0 ·

(20)

−ZP
δ 2

像は

l2 = l0 ·Mj : (xj , yj ) → Tj

1
l +Zp

1 + f 0ε1

l +Zp

1 − f 0ε

(21)

−ZP
δ 2

Mk : (xk , yk ) → Tk

ここで，[式 (19) の右辺] は l = l0 のときに最小値 0のように表される．このとき図 2 のように，お互いのカメラの画角が重なる領域において，Tj = Tk となるをとり，l < l0 で単調減少，l > l0 で単調増加である．よって，視点 P で生成された画像のすべての点(xj , yj ), (xk , yk ) が存在する．このような際，R と投影中心が最も近いカメラ j を選び ，バーチャル投影面への写像を行えば ，式 (9) より像面上での誤差は最小は，その被写体が l1 <=l <= l2 の範囲に存在すれば ，となる．すなわち，カメラの投影中心 Cj を母点とし1 画素分とすれば ，実質的に正しい位置に生成しているといえる．ここで，このように式 (19) を満たす l のたボロノイ領域Γj : {(XR , YR )|d(R, Cj ) < d(R, Ck ), j =| k}(17)必ず |∆p| <= δ なる誤差の範囲内で生成することができる．そしてこのとき δ を視点 P における解像度の範囲の大きさを「等価被写界深度」と呼ぶことにする．
図 3 は ε に 対し て l1 と l2 をプ ロット し たグに R がくるときに，カメラ j を用いる．ただし d(P, Q)

ラフで あ る ．こ の 図に おいて ，等 価 被 写 界 深 度はは 2 点 P, Q のユークリッド 距離である．

通 常 ，∆l = l2 − l1 に よ り 与え ら れ る ．た だし ，

ここで，(xi , yi ) → (XT , YT ) → (XR , YR )(18)の写像は 1 対 1 なので ，(XR , YR ) 上の領域 Γi に対

ε < 2δ
· (l0 + 2Zp ) ≡ ε2 においては l > l0 な る
fl で必ず式 (19) を満たす．更に，被写体は仮定のとおり l > 0，つまりカメラの前にあるが，ε < 2δ
·Zp ≡ ε1fにおいては l1 < 0 となるため，すべての l > 0 にお応する (xi , yi ) 上の領域 Πi ，(XT , YT ) 上の領域 Ωi

いて式 (19) を満たす．よって一般には，図中にグレーを求めることができる．

で示された領域を直線 ε = ε0 で切った長さが ε = ε0

まとめると，
132

における等価被写界深度となる．

論文／多眼カメラを用いた任意視点人物像の実時間生成システム

図 3 等価被写界深度のグ ラフ．等価被写界深度は図中，∆l で表されている
Fig. 3 Graph of equivalent depth of ﬁeld (EDOF).
EDOF is expressed by ∆l.

Fig. 4図 4 試作機の概観
Overview of our prototype.

我々が通常のカメラで何か被写体を撮影するとき，ある被写体距離に焦点を合わせる．そして，この被写体距離にない被写体の像はぼけるが，このぼけが像面の解像度と比べて十分に小さいときには許容することができる．そのときの被写体の存在範囲を被写界深度というが，「 等価被写界深度」は，この被写界深度と等価な考えであることから名づけた．

3. 試作システム
3. 1 概要Fig. 5図 5 試作機のブロック図
Block diagram of our prototype system.

前章で述べた画像生成法をもとに，人物のように動く被写体の任意視点画像を実時間で生成するシステム

こで注意したいのは，もし カメラ部からくる 12 本すを試作した．図 4 と図 5 は，その概観とブロック図

べての映像信号を同時に取り込もうとすれば ，映像取をそれぞれ示している．システム全体は大きく分けて，込みボ ード も 12 枚必要となる点である．また，たとカメラ部，レンダ リング用 PC，制御用 PC で構成さえ多数のボード を用いてもバスの転送レートがボトルれている．

ネックとなり，すべてのデータをメイン メモリに転送

カメラ部では，小型カラー CCD カメラ（ 東芝 IK-することは困難である．このため，カメラ部とレンダ

C40，画素の 1 辺 δ  0.01mm ）に超広角レンズ（ 焦
点距離 f = 3.5mm ）を搭載し ，これを水平に 12 台，
54 mm 間隔で並べている．ここで，すべてのカメラに同期をかけている．また，図 4 の囲みのようにカメラ
は光軸を中心に 90◦ 回転させて台座に固定してある．

リング用 PC の間に映像スイッチを設置し，12 本の映

こうすることで，カメラの走査線の向きは鉛直向きに像信号のうちで画像の生成に必要となるものだけを選択するようにしている．この映像スイッチの切換タイ
ミングは，外付けのラッチ回路を用いてカメラの水平同期信号に合わせてあり，カメラはすべて同期がとれているため，走査線単位での映像の選択が可能である．

なる．これは，後程述べるように，各カメラで必要と制御用 PC は，カウンタボード を搭載している．こなる画像領域のみを効率良く選択するためである．

のカウンタボード にはカメラからの複合同期信号を単レンダ リング 用 PC のスペックは CPU:Intel Pen-

相入力し ，同期分離回路により抽出された垂直同期信tium II/400 MHz×2，メモリ：128 MB，更に 3 次元

号を Z 相に入力している．このようにして，現在の走グラフィックボード，映像取り込みボ ード を搭載して査線の番号をカウントしつつ，適切なタイミングで映いる．そして，カメラ部からの NTSC 信号を取り込

像スイッチへチャネルの指示を行う．また，スイッチ

みつつ，それをもとに画像の描画を行う．ただし ，この切換パターンは，レンダ リング PC でバーチャル視133電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1

点 P を移動するたびに変化するため，制御用 PC 上

度の関係を確認する．そのため，静止した被写体に対にある共有メモリを介してお互いに同期をとる．

してカメラ間隔 ε を変化させて画像を生成してみる．

3. 2 実時間描画の手順

ここで，カメラは実際のシステムと同様に，水平方向

次に，我々の試作システムでの実時間描画の手順ににのみ移動させて撮影する．このような場合，生成しついて述べる．基本的には，前章で述べた描画アルゴ

た画像の垂直方向の誤差は ，水平方向の誤差に比べリズムに従っている．ただし，実時間処理を実現するて大きくなり，カメラのある位置よりも大きく上下にために，必要な映像の選択をレンダ リング PC のメモ

バーチャル視点を移動できない．ただし ，我々の用途

リに取り込む前の段階で行っていることが大きな特徴

である遠隔コミュニケーションでは，十分であると考となっている．

える．なぜならば ，通常の会話においては上や下からまず，操作者によりバーチャルな視点の位置が与えのぞき込むことはないし ，人間の両眼は水平についてられると，レンダ リング PC は，各カメラでレンダ リいるため，両眼立体視で必要なのは水平方向の精度だ

ングに必要な画像領域 Πi（前章参照）を計算する．カからである．

メラは水平に並んでいるので，この画像領域は画像全

図 6 の左上部は，カメラと画像を生成するバーチャ

体を水平に切り分けたもの，すなわち垂直に長い形にル視点 P ，そし て二つの被写体の位置関係を示してなる．このシステムでは走査線が垂直になるようにカいる．カメラは Z = 0 上に並べられ，P は Z = 50

メラを設置しているため，Πi に走査線の組が対応すに 位置する．また ，二つの被写体は Z = −350 とる．そこで，各カメラについて必要となる走査線の組−70 [mm] 付近にそれぞれ置かれている．

を計算し ，これをテーブルの形で制御用 PC 上の共有
メモリに書き込む．
制御用 PC では，カウンタボード で走査線の番号をカウントしつつ，前述のテーブルに基づき，走査線ごカメラのパラメータ f = 3.5 [mm]，δ = 0.01 [mm]，更 に 等 価 物 体 距 離 を l0 を 前 側 の 被 写 体 付 近 の
l0 = 350 [mm] にし た際，水平方向の等価被写界深度のグラフは図の右上部のようになる．

とに映像スイッチにチャネルを指示する．こうするこ

図の左下部の画像は ，カメラ間隔 ε = 4 [mm] でとで，レンダ リング PC はカメラからの映像のうち描生成し たものである．このときの等価被写界深度は画に必要となる画像領域 Πi を選択的に，しかも空間的な解像度の劣化なく取り込むことができる．スイッ
チの代わりに 画像合成機を用いた実装例 [21] もあるが，そうすると必要のない画像を取り込むばかりではなく，必要な画像の空間的解像度も犠牲になるという欠点をもつ．ただ ，我々の手法を用いても，領域 Πiに対応する走査線がカメラ間で重複してしまうときがあり，そのときにはフィールドごとに時間を交互にずらしてスイッチの切換を行った．
最後に，レンダ リング PC は，取り込んだ画像を用いてバーチャル視点からの映像を生成する．バーチャ
ル空間の構築には 3 次元画像ライブラリ（ OpenGL ）を使い，この空間内にあるバーチャル投影面上に取り込んだ画像をテクスチャマッピングする．この処理は，前章で述べたとおりプログラムとしては単純なメモリ転送であり，グラフィックアクセラレータがハード ウェ
アで高速にスケーリングフィルタリングの処理を行う．

4. 実

験

4. 1 カメラの設置間隔と等価被写界深度の関係
まずは予備実験として，カメラ間隔と等価被写界深134

図 6 静止する被写体において，カメラの設置間隔 ε を変化させた場合の画像生成結果
Fig. 6 Image synthesis of static objects with diﬀerent
camera intervals ε.

論文／多眼カメラを用いた任意視点人物像の実時間生成システム

693 [mm] となり，グラフのとおり，後ろの被写体のある Z = −700 まで含む．そして実際に，l0 付近にあで変化する．これは，人物の厚みをカバーするには十る前の被写体だけでなく，後ろの被写体の画像も誤差

また，遠隔コミュニケーションでは，相手のいる実環が実質的になく生成されている．

境の背景画像が提示されると，自分のいる実環境との分であるが，背景画像を正しく構成するには足りない．

一 方 ，ε = 30 [mm] の と きの 等 価 被写 界 深 度は

境界が目立ってしまい，臨場感を損なうことが知られ

54 [mm] で，後ろの被写体には足りない．そして実際，ている．このような理由から，人物像のみを実環境の図の右下部に示すように，生成された画像では後ろの背景から切り出し ，コンピュータにより生成したバー

被写体（と前の被写体の後ろに張り出した耳）が 2 重チャルな空間に投影することにした．

となるような箇所が 生じ ている．生成され る像は式図 7 の左部は ，被写体となる人物とカメラ，撮影(16) のように，l < l0 のとき ∆r と同方向，つまり各カメラの分担領域の境界に近づく方向にずれ，l > l0のとき ∆r と同方向，つまり各カメラの分担領域の境用のブルーバックがある実環境と ，人物を投影する
バーチャル投影面とバーチャルな物体を配置したバー

界から遠ざかる方向にずれるが，そのとおりになってを点線で，バーチャル環境を実線で示している．実環

チャル環境を重ねて表している．ただし図中，実環境
境では，人物はブルーバックを背にカメラからおよそいる．
このように，理論的に導かれた等価被写界深度の考1000 [mm] の位置に座る．バーチャル環境は，三方をえが ，実際によく合致することを確かめることがで壁で囲み，(X, Z) = (0, −300) 付近に茶 瓶と台を設きた．

置している．そして，実環境で人物がいるおよその距

びん4. 2 バーチャル空間への人物像の投影離と同じ く l0 = 1000 [mm] の位置に透明なバーチャ

次に，今回の試作システムを用いて，動きのある人

ル投影面を設置する．

物を様々な視点位置から見た映像を実時間で生成する．

レンダ リング時には，クロマ・キーを用いて人物がまず，本論文のシ ステムのパラ メータとし て像面映っている画像のみをバーチャル投影面に投影し ，背上の 許 容 誤 差 δ = 0.01 [mm]・カ メラの 焦 点 距 離

景部分は透明のままとしておく．ここで注意したいこ

f = 3.5 [mm]・カメラの設置間隔 ε = 54 [mm]，更に被写体の想定距離 l0 = 1000 [mm] としたときの等価とは，固定のバーチャル投影面に人物像を投影してい被写界深度を計算してみる．本実験では視点の位置をである．よって，左右視点位置の映像を生成して両眼に−200 <= ZP <= 1000 の範囲で移動させるが ，そのとき被写界深度は 167 [mm] <= ∆l <= 501 [mm] の範囲

し て 認識され る ．これは ちょうど ，液晶シャッタ式

Fig. 7

るが，この像は視点位置に応じて変化するということ提示すれば ，平面としてではなく，視差により立体と図 7 バーチャル空間への人物像の投影
Projection of human ﬁgures into a virtual space.

135電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1の立体デ ィスプレ イのデ ィスプレ イ面が固定平面であ

その心理物理的な評価を今回は行わなかったため，今るにもかかわらず，立体を提示できるのと同じ 理由で後の課題としたい．

ある．
図 7 の左 部は ，視点位置 P (XP , ZP ) を A(400,

5. む

す び

1000) → B(−300, 1000) → C(0, 300) → D(0,−200) と 動かし ，そこ から の 映像を 実 時間で 生 成した結果である．ここで，A → B → C → D の時間システム「 相互テレ イグジスタンス」のために，人物

間隔はそれぞれ，1/30, 3.5, 5.0 [s] である．

バーチャル空間内に透明な投影面を配置し ，複数カメ

視点位置 A, B, C における生成画像の図中の囲み

本論文では，我々の目指す遠隔コミュニケーション
像をバーチャル環境に投影することを試みた．その際，ラからの画像を選択的にテクスチャマップすることで，は，人物がもつカップ付近の拡大図である．視点位置

視点位置に応じた人物像を生成するという手法を用い

A, B はほぼ 同時刻であるが，B からの画像では衣服た．この手法は非常にシンプルである一方で，人物像の左胸に付いているマークが見えるのに対し，A からに平面という最低限の幾何的構造をもたせることで，ではコップに遮られて見えない．そして，真ん中からバーチャル空間内での遮へい関係も表現できる．ただ見た C では，マークがちょうど 半分ほど カップに遮し ，幾何的な構造をもたないために，被写体が投影面られ，カップを上げた D の状態ではマークが完全に付近に存在しない場合，その像では誤差が生じる．そ見えている．この結果から，動く被写体内で正しい遮こで，この誤差の定量的な評価基準として「 等価被写

へい関係が表現できていることがわかる．

界深度」を導入した．被写体がこの「等価被写界深度」

また，バーチャル投影面の手前に設置した茶瓶は人の範囲内にあれば ，生成画像の誤差が定めた範囲内に物を隠し ，背後に配置された壁は人物により隠されあることが保証され，システムの設計において有用なている．また，各画像における茶瓶と人物及び背景の指針となる．

位置関係も，視点位置に応じたものとなっている．すまた，試作システムを用いて実時間で任意視点の人

なわち，平面という単純な幾何的構造によってもバー物像が生成できることを示した．この試作システムは，

チャル空間内での人物，茶瓶，壁の間の遮へい関係が早い段階でカメラからの映像のうち必要となるものの適切に表現できているということがわかる．ただし ，みを選択するという，従来システムにない特徴をもつ．

実際の人物の厚みよりもバーチャル投影面に近い位置

前述のシンプルな画像生成法との組合せにより，現時にバーチャルな物体を配置したときには，正しい遮へ

点のコンシューマ向け低コスト PC で，十分に実時間

い関係が表現できないという限界がある．しかし，我々描画を実現している．

の遠隔コミュニケーションシステムにおいては，利用そして将来的には，本論文のシステムにより遠隔地者は一般に社会距離と呼ばれる 1 m 以上の距離は保っ間で利用者の視点位置に応じた映像を生成して通信すて会話することを想定しており，お互いに重なり合う

る実験を行うことを考えている．ただし ，現在はカメという状況は考えにくい．また，バーチャルな物体をラを直線状に配置しているため，背面の人物像を生成操作する場合には，各操作者の実空間において「オブできないなど ，視点位置に制約がある．そこで，カメ

ジェクト指向型デ ィスプレ イ」[23] のように遮へい関

ラを円形に配置して視点移動が可能な範囲を広げ，そ係の表現に適したデ ィスプレ イを用いるのがよいと考の際に今回のバーチャル投影面の画像生成法を拡張すえる．

ることが考えられる．更に，本論文では主に画像の生

また実際には，等価被写界深度内の人物像に対して成法について述べたが，相互テレ イグジスタンスのシも，若干の画像の継ぎ 目が認められる．これは，各カステム全体としては，その画像を視覚提示する必要がメラのキャリブレーションが 十分でなかったことと，ある．よって，このような用途に適したデ ィスプレ イ

レンズの球面収差の影響によるものであると考える．

に関する研究も併せて行う予定である．
文

これらについては，他の多眼カメラを用いたシステム

献[1]

岸野文郎，“ヒューマンコミュニケーション —臨場感通信，”
テレビ 誌，vol.46, no.6, pp.698–702, June 1992.

[2]

見たときに認められる程度であり，動画像として見た

竹村治雄，“仮想環境の共有による協調作業，” 知能情報メデ ィア，田村秀行，池田克夫（ 編），pp.127–147, 総研出

ときの画質は満足のいく結果となっている．ただし ，版，東京，1995.

と共通する問題であり，我々のシステムも例外ではない．ただ，上記の不具合は各フレームを静止画として136

論文／多眼カメラを用いた任意視点人物像の実時間生成システム[3]

K. Singh, J. Ohya, and R. Parent, “Human ﬁgure

像の補間・再構成による視点追従型立体画像表示法，” 信

synthesis and animation for virtual space teleconfer-，J79-D-II, no.5, pp.803–811, May 1996.
学論（ D-II ）[20] 亀井克之，丸山 稔，瀬尾和男，“実環境再現を目的とし

encing,” Proc. VRAIS ’95, pp.118–126, 1995.
[4]

T. Kanade, P.J. Narayanan, and P. Rander, “Virtu-

た部分画像の検索転写に よる情景画像の生成，” 信学論

alized reality: Being mobile in a visual scene,” Proc.

，J81-D-II, no.2, pp.331–341, Feb. 1998.
（ D-II ）[21] 苗村 健，原島 博，“多眼ビデ オ入力を 用いた 実時間

ICAT ’95, pp.133–142, 1995.
[5]

IBR システム—Video-based rendering ，” 日本バーチャ
ルリアリティ学会論文誌，vol.4, no.4, pp.639–646, Dec.

S. Moezzi, A. Katkere, D.Y. Kuramura, and R. Jain,“Immersive video,” Proc. VRAIS ’96, pp.17–24, 1996.

[6]

[7]

小柳雅明，横山裕記，前田太郎，柳田康幸，，“実
動物体の仮想空間への投射システムに関する研究，
” 日本

[9]

ルを持たない多眼実写データの仮想環境における配置と操Oct. 1996.

” 日本バーチャルリアリティ学会論文誌，vol.3, no.3,
作，
pp.149–157, Sept. 1998.

S. Tachi, T. Maeda, Y. Yanagida, M. Koyanagi, andin a virtual environment,” Proc. ICAT ’96, pp.9–18,

川上直樹，稲見昌彦，柳田康幸，前田太郎，，“オブ
ジェクト指向型デ ィスプレ イの研究，” 情処学論，vol.40,

1996.

no.6, pp.2725–2733, June 1999

國田 豊，稲見昌彦，前田太郎，，“相互テレ イグ
ジスタン スのための画像構成法，” 日本バーチャルリアリ

1997.

國田 豊，稲見昌彦，前田太郎，，“相互テレ イグ
ジ スタン スのための画像構成法（ 第二報 ），” 信学技報，MVE98-43, June 1998.

[11]

國田 豊，稲見昌彦，前田太郎，，“相互テレイグジ” 日本バーチャル
スタンスのための画像構成法（ 第三報），
リアリティ学会大会論文集，第 3 巻，pp.203–206, Aug.
1998.
[12]

國田 豊 ，稲見昌彦 ，前田太郎，，“三 次元物体の実時間描画システム，” 3 次元画像コンファレン ス’99,
pp.13–18, June 1999.

[13]

平 10 日本バーチャルリアリティ学会学術奨励賞各受賞．計測自動制御学会，映像情報メデ ィア学会，日本バーチャルリアリティ学会学生員．

稲見昌彦

of Visual Scenes (MVIEW’99), pp.81–88, June 1999.

大国際・産学共同研究センターリサーチ・
アソシエイト．ロボット及びバーチャルリ
アリティの研究に従事．平 10 情報処理学

國田豊，稲見昌彦，前田太郎，，“三次元バーチャ

1999.

会山下記念研究賞，平 11 同学会論文賞，日本 VR 学会学術奨
励賞各受賞．IEEE Computer Society ，情報処理学会，日本
ロボ ット学会，計測自動制御学会各会員．

前田

太郎 （ 正員）

L. McMillan and G. Bishop, “Plenoptic modeling: An

昭 62 東大・工・計数卒．同年通産省工image-based rendering system,” SIGGRAPH’95 Con-技院機械技研入所．平 4 東大先端科学技術
研究センター助手．平 6 同大大学院・工・

ference Proceedings, pp.39–46, Aug. 1995.
S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F.
Cohen, “The lumigraph,” SIGGRAPH’96 Conference
Proceedings, pp.43–54, Aug. 1996.
M. Levoy and P. Hanrahan, “Light ﬁeld rendering,”
SIGGRAPH’96 Conference Proceedings, pp.31–41,
Aug. 1996.
[19]

工現実感など の研究に従事．平 8 日本工業
新聞社主催先端学術学生論文文部大臣賞，

Y. Kunita, M. Inami, T. Maeda, and S. Tachi, “Pro-” 第5回
ル空間への写実的な人物像の実時間投影システム，
知能情報メディアシンポジウム論文集，pp.207–212, Dec.

[18]

平 8 東大・工・計数卒．平 10 同大大学院修士課程了．現在，同博士課程在学中．人平 6 東工大・生命理工卒．平 8 同大大学

p.267, Aug. 1999.

[17]

豊 （ 学生員）

院修士課程了．平 11 東大先端学際工学専
攻博士課程了．博士（工学）．同年より，東GRAPH ’99 Conference Abstracts and Applications,

[16]

國田

time rendering system of moving objects,” Proc. 1999

totype system of mutual tele-existence,” ACM SIG-

[15]

（ 平成 12 年 3 月 21 日受付，7 月 31 日再受付）

Y. Kunita, M. Inami, T. Maeda, and S. Tachi, “RealIEEE Workshop on Multi-View Modeling & Analysis

[14]

[23]

ティ学会大会論文集，第 2 巻，pp.350–351, Sept. 1997.
國田 豊，稲見昌彦，前田太郎，，“相互テレイグジ” 日本バーチャル
スタンスのための視覚ディスプレ イ設計，リアリティ学会大会論文集，第 2 巻，pp.352–353, Sept.

[10]

1999.
内山晋二，片山昭宏，山本裕之，田村秀行，“幾何形状モデ

バーチャルリアリティ学会大会論文集，vol.1, pp.27–30,

Y. Yokoyama, “A method of mutual tele-existence

[8]

[22]

片山昭宏，田中宏一郎，押野隆弘，田村秀行，“多視点画

計数工助手．平 9 同専攻講師．平 12 同大
学院情報学環講師．工博．人間の知覚特性と神経回路網モデル，マン・マシンインタ
フェース，テレ イグジスタンスの研究などに従事．平 2 計測自動制御学会論文賞，平 9 同学会学術奨励賞，平 3 日本ロボット
学会技術賞各受賞．計測自動制御学会，IEEE ，神経回路学会，
日本ロボット学会，日本バーチャルリアリティ学会各会員．

137

電子情報通信学会論文誌 2001/1 Vol. J84–D–II No. 1（ 正員）
昭 43 東大・工・計数卒．昭 48 同大大学
院博士課程了．工博．同年同大助手．昭 50
通産省工技院機械技研研究員．主任研究官，遠隔制御課長，バ イオロボ ティクス課長，
マサチューセッツ工科大学（ MIT ）客員研
究員を経て，平 1 東大・先端科学技術研究センター助教授．平 4 同センター教授．平 6 同大大学院・工・
計数工教授．盲導犬ロボ ット，テレ イグジスタンス，人工現実感など の研究に従事．IEEE/EMBS 学会賞，通産大臣賞，国際計測連合（ IMEKO ）特別勲功賞など 各受賞．IMEKO ロボティクス会議議長，SICE フェロー，日本バーチャルリアリティ学会会長．

138