FIT2004（第3回情報科学技術フォーラム）LK-003協調型複合現実空間のためのアイコンタクトの復元〜視線認知実験と顔映像の高精細化〜 



竹村 雅幸

     

Ý

大田 友一

   Ý      まえがき
複合現実技術  
とは，コンピュータグ
によって表現される仮想世界と，我々
ラフィックスが生活する現実世界をつなぎ目なく融合する新しい技術
技術やセンサ機器の発達により，複数のユーである．
ザが複合現実空間を共有しながら共同作業を行うことが現実的に可能になってきた ．本稿では，このように複数のユーザが同時に複合現実感を共有する空間を協調型
複合現実空間と呼ぶ．コンピュータによって生成された仮想世界を現実世界の上に重ね合わせて表示するための手段の一つに頭部装着型デ ィスプレ イ（  ）が挙げられる．この  は視野が限定されず，目の前の広い空間につなぎ目なく仮想世界を融合することができる利点を持つ． を装着する煩わしさはあるものの，没入感や応用範囲の広さの点で他の方法の追従を許さない優れた提示方式であると考えられる．
しかし，図  に示すように  を複数のユーザが同時に装着すると，視線や眼の表情などが隠されてしまい，
ユーザ間のコミュニケーションが阻害されるという問題が生じる．共同作業において相手の表情や視線方向などの情報を知覚することは，相手の心理状況や次に起こす行動をより早く正確に推測することを可能にする．このため表情や視線方向は，共同作業を行う上で非常に重要な情報を含んでいるといえる  ．人は無意識のうちにこれら視線情報の持つ機能を利用し，円滑なコミュニ
ケーションを行っている．しかし，前述のように協調型
複合現実空間では  を頭部に装着することにより，視線に関するこれらの機能が阻害されてしまう．
森川ら  は，対面対話とビデオ対話における視線認
知特性の違い，およびビデオ映像から受ける被視感に関して報告している．清川ら  は複合現実空間と現実空間における共同作業の比較実験を行い，共同作業者の視線が  の装着によって遮られたことにより作業効率が低下することを示した．また， 装着時にユーザの頭部方向を視線方向とみなした仮想ベクトル表示を行うことで，作業効率が向上することも示している．これ
らの研究は，いずれも視線情報の欠落が共同作業の効率を低下させることを示している．しかし，人間の視線情報を複合現実空間において復元することを目指した研究は行われていない．
我々は，協調型複合現実空間における視線情報の欠落に注目し ，視線を復元し た顔映像を重畳し て仮想的に
 を消去することでアイコンタクトを復元する方式を提案してきた．これは， によって隠された顔の映像をリアルタイムで生成し，図  に示すように，ユー
ザの  上に重畳することによりアイコンタクトを復Ý 筑波大学 大学院システム情報工学研究科

図   によるアイコンタクトの阻害

図  アイコンタクトが復元された複合現実空間
元し，ユーザ間のコミュニケーションを支援するものである．本報告では，アイコンタクト復元を行なった場合の視線認知精度を主観評価実験により調べ，提案方式によるアイコンタクトの復元が有効であることを示す．また，更なる視線認知精度の向上を目指して，顔映像のリ
アリティを追求するために高精細化を行う．

 顔映像の高精細化
 撮影システム
非言語情報をも提示できるようなアイコンタクトの復元を行うためには，写実的な顔映像を生成することが必要であると考える．我々は，ユーザの顔をあらかじめ撮
影した複数枚の顔写真を用いて，肌の質感，表情などをビデオレートで自然に再現できる顔映像生成手法を開発してきた ．しかし ，この手法は全特徴点の獲得を手作業で行う必要があり，また弱中心射影を仮定しているため必ず顔形状に歪みが生じるなど ，高精細化を図る
ことは難しかった．
そこで図  に示すような  次元スキャナと高解像度デジタルカメラを利用する新たな手法で高精細化を図る．
まず， 次元スキャナで顔の画像と高精細な  次元形状を獲得する．しかし ，この画像はテクスチャとして利用
するには解像度不足のため，高解像度のテクスチャ用画
像をデジタルカメラで撮影する． 次元形状とテクスチャ用画像の対応関係は， 次元スキャナで撮影された画像を利用する．

243

FIT2004（第3回情報科学技術フォーラム）䉴䉨䊞䊅3ᰴర䊝䊂䊦䊌䉾䉼ಽഀᴺ䊁䉪䉴䉼䊞䈱᠟ᓇ
⌒䉕㐽䈛䈢
㗻䊝䊂䊦

䉴䉨䊞䊅䉦䊜䊤
ౝㇱ䊌䊤䊜䊷䉺

䉨䊞䊥䊑䊧䊷䉲䊢䊮䉴䉨䊞䊅↹௝

䊝䊷䊐䉞䊮䉫

䊂䉳䉺䊦䉺䉦䊜䊤

䉁䈹䈢䈱േ䈐
䉕ౣ⃻ⷞ✢䈱⒖േ䉕
ᐔⴕ⒖േ䈪ㄭૃ

䋳ᰴరᒻ⁁䈱⸘᷹

ᚻേ․ᓽὐ
ಽഀὐ䋨䋱࿁䋩ಽഀὐ䋨䋲࿁䋩㜞⸃௝ᐲ↹௝

䋳ᰴర
䉴䉨䊞䊅

ᚻേ

ⷞ✢䉕ౣ⃻
㜞⸃௝ᐲ
䉦䊜䊤

VIVID 910

䉴䉨䊞䊅↹௝

図  撮影システム

ಽഀ䋨䋱࿁䋩
ಽഀ䋨䋲࿁䋩
䉴䉨䊞䊅䋳ᰴర䊝䊂䊦

VIVID 910

䋳ᰴర䉴䉨䊞䊅



⌒䉕㐿䈇䈢
㗻䊝䊂䊦

ⷞ✢䉇⌒䈱⴫ᖱ䉕ᜬ䈦䈢㗻ᤋ௝↢ᚑ⌒⃿䊁䉪䉴䉼䊞

図  顔映像生成の流れ

図  再分割法

 アイコンタクト 復元システム

モーフィング システム概要

図  に示すように，目を開いた顔のモデルと目を閉じた顔のモデルのモーフィングを行い，まぶたの動きのある顔映像を生成する．しかし ， 次元スキャナで計測した顔モデルの間には対応関係がないため，そのままではモーフィングを行うことができない．そこで我々は顔の形状やテクスチャの変化の起点となるような位置に約 点の特徴点を手動で定め，顔モデル間での対応関係を調べる．これにより対応関係のわかる約  点の特徴点のみを利用した顔モデルならばモーフィングが可能となる．更に  次元スキャナで計測した高精細なモデルを活用するために再分割を行い高精細なモデルでのモーフィングによる表情変化を実現する．

協調型複合現実空間においてユーザ同士のアイコンタ
クトを復元することが可能なシステムの構築を目的としているが，本システムはそのサブシステムとして，観察者から見た被重畳者のアイコンタクトを復元する．概要を図  に示す．本システムの構築に必要な主な技術的要
素は以下の  点である．  現実と仮想の位置合わせを行うために，両ユーザ頭部の位置姿勢を計測する． 
失われた視線情報を復元するために，被重畳者の視線情報を計測する．   を装着することで失われるア
イコンタクトを復元するために，得られた位置姿勢と視線情報を基に，被重畳者の  上に視線やまぶたの動きを再現した合成顔映像を重畳する．これら全ての処理をリアルタイムで動作する必要がある．

 再分割

特徴点を手動で増やすことも可能であるが非効率的である．そこで，表情変化前の特徴点  と特徴点  の中点は，表情変化後においても特徴点  と特徴点  の中点であるという近似を利用し再分割を行い，高精細な 次元モデルを利用し表情変化を再現する．
 次元スキャナ  で撮影された画像と  次
元モデルの対応関係は既知である．図  に示すようにス
キャナ画像上の特徴点と，特徴点の中点である分割点（ 回）を求める．このスキャナ画像上の分割点（  回）に対応する  次元位置をスキャナ  次元モデルより求める．
この分割を繰り返し行うことで，高精細なモデルを活用したモーフィングが可能である．

視線の再現
ユーザの視線情報は，光学シースルー  に視線検出機構 ! " を取り付けて，リアルタイムで計測する．図 # に示すように，眼球下部から赤外線 $% を照射し，その眼球の様子を赤外線ハーフミラーで反射させ視線検出用カメラで撮影する．この眼球映像を画像処理して視線情報を得る．実際の人間の視線移動は眼球の回転運動により生じるが，眼球を平面と仮定し，黒眼を平行移動させることにより視線を再現する #．まぶたは，上方向を注視すると自然と開き，下方向を注視すると自然と閉じる．このような，まぶたの動きについても瞳孔移動量との関係をあらかじめ計測して再現する．

 アイコンタクト 復元結果
本研究では，位置姿勢検出精度の良否による提示映像への影響を避け，提案手法の有効性を正確に評価するた
めに，精度の高い赤外線  次元位置センサ &'(&() を利用する ．図  に示すように，これらの情報を基に被重畳者の  領域に合成顔映像をリアルタイ
ムで重畳することができる．

この分割手法を利用した上で，図  上に示すようなパッチ分割を行った．パッチの辺を必ず中点で分割する
ことで，隣りあうパッチ間に隙間が生じるような問題を回避する．

 高精細顔映像の生成結果
再分割を行った結果を図  に示す．再分割するにつれて形状がなめらかになることが確認できる．ただし ，
次元スキャナで計測した形状よりも細分化することは，必要以上に分割点とパッチの数を増やすだけで無意味である．分割数   回程度までは再分割による妥当な成果が得られると思われる．

 視線認知実験による評価
 視線認知条件

対面での共同作業を想定し，以下に示す  条件の視線認知精度を視線認知実験Þ により調べ，提案したアイコ
ンタクト復元方式の有効性を検証する．

244

Þこの実験では高精細化前の顔映像を利用している．

FIT2004（第3回情報科学技術フォーラム）

200

800

3300

13000

Polygons

Polygons

Polygons

Polygons

分割なし
赤外線3次元位置センサ(OPTOTRAK)

合成顔映像

分割  回分割  回図  再分割結果
ⷞ✢ᬌ಴↪
䉦䊜䊤

分割  回

ⷞ✢ᬌ಴↪
䉦䊜䊤

視線計測

䇭䇭⿒ᄖ✢䇭䇭
䊊䊷䊐䊚䊤䊷

頭部位置
姿勢計測

LCD (శቇ
䉲䊷䉴䊦䊷)

⿒ᄖ✢䌌䌅䌄
被重畳者

観察者

図 # 視線検出システム
図  アイコンタクト復元の前後
図  システム概要
まず，  現実空間において，両ユーザがそれぞれ を装着しない状況での人間の視線認知精度，を調べ，精度比較の基準とする．次に，提案した方式による䊙䊷䉦㑆〒㔌䇭
䉝䉪䊥䊦᧼
視線の再現が理想的に行われた場合として， *  を
L x tan10㫦
装着しないユーザの視線を  を通して見た視線認知
精度，を調べた．これは，両ユーザが  を装着しな䊙䊷䉦䊷
い時と，提案手法によって視線を再現した時の視線認知䊙䊷䉦䊷ᵈⷞ⠪ⷞ✢್ᢿ⠪
精度を単純に比較した場合， を通して視線認知し䊡䊷䉱㑆䇭〒㔌䇭L=䇭䋹䋰䇭䌣䌭た場合の精度低下を考慮していないことになるためであ図  評価実験環境
る．  と * との比較によって，我々が使用した ᱜ⸃₸䋱䋲 䋱䋱 䋱䋰Ḱᱜ⸃₸䋫ᱜ⸃₸䇹
を通して視線認知した場合の視線認知精度の限界が明ら
㪐㪐㪅㪇
㪐㪎㪅㪌
䋱䋳
䋴
䋳
䋹
㪈㪇㪇
㪐㪋㪅㪇
かになると考えられる．一方， + 提案手法によって視㪏㪏㪅㪌㪐㪇
線を再現した場合の認知精度，と， * との比較によっ
䋱䋴
䋵
䋸
䋱
䋲
㪏㪇
㪍㪏㪅㪌
㪎㪇
て，我々が実装したアイコンタクト復元システムの完成
䋶
䋷 䋱䋹
䋱䋵
㪌㪎㪅㪌
㪍㪇
度が評価できると考えられる．
㪌㪇
[% ]



䋱䋶

実験タスク

図  左に示すように，ユーザの眼の前にアクリル板を置き，これに図  に示すようにマーカーを配置する．
このマーカーを注視するユーザをマーカー注視者，この注視されたマーカーを回答するユーザを視線判断者と呼ぶ．マーカー注視者は，実験指揮者によってランダムに指定されたマーカーを注視する．このとき視線判断者は，
マーカー注視者がどのマーカーを注視しているかは知らされていない．視線判断者は，マーカー注視者の視線だ
けを見て，どのマーカーを注視しているのかを判断して回答する．

 結果と考察
被験者は矯正視力 , 以上を対象とし ，被験者  人
でそれぞれの実験を行った．実験結果を図  に示す．



なし

   理想的

人間の直視と  の映像を比較した場合， の映像では視線認知精度の低下が認められた．実験に利用した  の解像度不足，固定焦点，輻輳の矛盾などが原因と思われる．より高解像度で，輻輳の調整が可能な䋱䋷䋱䋸図  マーカーの
配置

㪋㪇
㪊㪇
㪉㪇
㪈㪇
㪇
㩿㪸㪀㪟㪤㪛䈭䈚

㩿㪹㪀ℂᗐ⊛

㩿㪺㪀ᓳర

図  視線認知精度
 の利用が視線認知精度の向上につながると考えられる．

  理想的  復元本システムによって実現されたアイコンタクトの復元は，理想的な復元には及ばないものの，その有効性は十分に示された．視線認知精度の低下は，合成顔映像の歪み，合成視線のずれ，ユーザ頭部と  のずれ，など ，
さまざ まな原因が考えられる．一方で，合成顔映像は照明による陰影の影響を受けないため，かえって視線認知が容易との感想もあった．本来の照明環境であれば，下向き視線の場合には，まぶたやまつげによる影がおちて眼球が暗くて見えにくくなる．本システムで視線の再現を行った場合には，このような影響を受けずに視線の判断を行うことができる．視線認知精度の向上を目指すことと，リアリティを追求した顔映像の生成を目指すこととは，必ずしも同じではないと言えよう．

245

FIT2004（第3回情報科学技術フォーラム）

[%]

100
80
60
40
20
0

semi-correct answer
incorrect answer

7

6

15
16

19

17

  なし

6

15

18

7

16

19

マーカー別の正解率
各  条件におけるマーカー別の正解率を図  に示す．
まず， * と + の下部マーカー   # の正解率を比較すると， + の正解率が高い．これは * の場合，まつげや，まぶたによる影が眼球にかかり， のダ イ
ナミックレンジでは暗くなりすぎて見えづらくなることが影響していると考えられる．反対に + の場合，合成
顔映像は照明による影などの影響を受けないためむしろ眼球が見やすい．これらのことが正解率にも影響したと考えられる．
+ の場合，上部マーカー    の正解率が低い．
これは，合成顔映像の歪みと考えられる．下向き視線は，眼球の移動のみでなく下を向くことで自然と下がるまぶ
たも表現する．この場合，目を開いた顔モデルと，目を閉じた顔モデルの内挿により表現することが可能である．
しかし，上向き視線を表現する場合，入力顔モデルの外挿により，上向き視線になったことで自然と開くまぶたを表現することになる．眼球だけは移動するが，上向き視線になったことによるまぶたや額などのわずかな変化が表現されない．この異和感が視線認知にも影響していると考えられる．
+ の場合，中心付近のマーカーの正解率が低い．これ
は + の場合には，視線移動によるまぶたや額などのわず
かなテクスチャや形状の変化には異和感が残るため，視線を判断する基準は，眼球の移動量に頼ろうとする傾向が強い．このため，眼球移動量の少ない中心付近のマーカーでは正解率が低下すると考えられる．

+

18

17

16

* 理想的
図  マーカー別の正解率

19

7

6

15

8

2

1

5

14

9

3

4

13

18

17

10

11

12

8

2

1

5

14

[%]

9

3

4

13

100
80
60
40
20
0

10

11

12

8

2

1

5

14

[%]

9

3

4

13

correct answer

10

11

12

100
80
60
40
20
0

復元

現実にはありえないような表現も交えて視線認知精度の向上を目指す．

参考文献
 -,&.  / ,(012 3 

4 25/5 / 2 1 67289 &.08. ．
 ,)/7/ 3!70 :1/+ 7/8 7: 5; 2+ 7/ / 874+ / 2+ 7/9 +  <8 +.775+  <<,4, ,25 ,/5.0 =,>/ / ,+ /,3(. ?2/ :1/+ 7/8 7: 5;9 !07 + <<,4 @1  森川治 3遠隔視覚対話における人間特性の分析とその応用9 人間科学研究 7, <<,4# , ),) 7>A85/,(>012 =+4 74:+

",-7>7 

3!0884

7*72 B 2 1 C

150/  %/B27/0/ :72 < '27 7
70 2+/58 7: . %%% / 2/ 7/0

</5 7:

7/8 2/ 4 &*D+ 89 '27+4
7/:2/+ 7/ 14

70<1 /5 / ! 8 08 E   ! E7, <<,4 =72/+ , 向川康博

中村裕一 大田友一
複数の顔画像の組合せによる任意方向・任意表情の顔画像の生成
電子情報通信学会論文誌 4 7,@#44 "7,<<,4 @1/,, まとめと今後の課題
主観評価実験の結果， を通した視線認知では精度の低下が確認された．また，本システムにより視線復元を行った場合の視線認知精度は，理想的に視線復元が行われたと仮定した場合と比較し若干低下するが，視線
情報を相手に伝達することは十分に可能であることが検証された．
更なる視線認知精度の向上を目指し ， つの方向性が考えらえる． つの方向性は，リアリティを追及することである． の解像度を上げる，上向き視線の顔映
像も異和感なく表現するなど ，リアリティを追及することで，視線認知精度の向上を目指す．しかし ，陰影の影
響がない合成顔映像の方が，視線を判断しやすいとの感想もあった．そこでもう一方は，リアリティの追求よりも，誇張表現を利用する方向性が考えられる．空間に視線方向を仮想的に示す，眼球を誇張して表現するなど ， ,(>012 -,&.  30/8./5 471/ 
8<

:72 !.2  

9

%%% /  / 2/ 7/ ! 0<7810 7/  / 1540/  

<<,4 ,# 竹村雅幸

大田友一 協調型複合現実空間のためのア
イコンタクトの復元〜視線認知実験による評価〜
信学技報，'F4# <<,4 @/ , %,(, 3かくれた次元9<<,4#

日高敏隆，佐藤信行 訳
みすず書房 , 杉原敏昭，宮里勉，中津良平 3焦点調節補償機能を246有する  >,9 日本バーチャルリアリ
ティ学会論文誌 B7, "7, <<,4# ,