〈一般研究課題〉 屋内環境における遠隔対話コミュニケーションの品質向上に関する研究
助 成 研 究 者

中京大学

舟橋琢磨

屋内環境における遠隔対話コミュニケーションの品質向上に関する研究
舟橋 琢磨（中京大学）

A Study on Quality Improvement ofRemote Network Communication in Indoor Environment
Takuma Funahashi(Chukyo University)

Abstract：
In this research, we pay attention to the disagreement of eye-contact in teleconference caused by
the separation between the input camera and output monitor devices. Then we are developing theEye-Contact Camera System for generate by redraw pupil and sclera eye-contacted motion images
to the receiver. In this paper, we proposed eyelid motion modeling caused by eyeball movement fornaturality of eye-contacted motion. 8 direction eyelid motion models were generated average eyelidfeature points by measured some of person, then arbitrary direction eyelid motion model werecalculated by linear interpolation. Proposed method was demonstrated more than naturally
conventional redrawing method by subjective.

１．はじめに近年，顔映像などの非言語情報を含んだ遠隔対面コミュニケーション環境が普及しつつある。しかし，対面時と同様の良好なコミュニケーションを実現するためには様々な課題がある。J.
L.Zitnickら[1]は，遠隔会議システムの問題点を次のように指摘した。
(a):音声に遅延があり，音質も良くない(b):通信開始に手間が掛かる（電話の利便性に負ける）(c):設備の互換性がない− 97 −(d):視線の認識や対面会話同様の感覚を得られない(a)〜(c)については，近年の通信の高速・大容量化とPC・カメラデバイスの低価格化，さらにカメラ付き携帯端末でのTV電話機能の登場により，問題解決への可能性が現実的なものとなってきた。しかし，視線の認識や対面会話同様の感覚を得られないことは，未だに解決されていない問題である。中でも顔インタフェースにおける対話者間の「視線の不一致」の解消という課題において，相手の視線は相手の意思表示を確認する上で重要となる。
この問題に対して先行研究[2,3,4]では,ハードウェアベースのシステムにおいて特殊な環境や機器を使用するという制約条件があり,一般家庭への新規導入は困難である。従ってカメラのみを利用したソフトウェアベースのシステム開発が主流であるが,当該分野における研究件数は少数である。モニタの上下部に設置された 2 台のカメラからステレオ計測を利用して姿勢位置を描画する
手法[5]や,予めモニタの前にカメラを置いて100フレーム分の正面顔画像学習データを用いて,入力フレームを正面顔時の角度になるよう修正する手法[6]が提案されている。しかしながら, 実時間処理と修正された顔画像の自然性において,いずれかに問題があり実利用化されたという報告はない。
本研究では，特殊な機器や環境を使用せず，安価なカメラのみを入力機器として，画像処理によって視線のずれた不自然な顔画像を視線の一致した顔画像に修正する Eye-Contact Camera シス
テムの開発と実利用化を目的としている。本システムは，画像処理による瞳検出結果をもとに，カメラ・モニタ・瞳の位置関係から視線が一致する瞳中心座標を再計算し，瞳を再描画することによって視線の一致した顔映像を，実時間で生成することが可能である。心理実験によるシステムの品質評価では，25/27名が視線の一致を感じるという評価を得た。ただし，生成された顔映像の自然さについては，18/27名が自然に感じるという評価を得ており，充分な自然性を得たとは言い難
い[7]。よって，映像の自然性を向上させることが目的である。

２. Eye-Contact Camera
２.１

アイコンタクト顔画像生成フロー

図１に示す手順でアイコンタクト顔画像を生成する。本手法は，前処理部・アイコンタクト座標変換部・瞳再描画部に大別される。
前処理部では，入力された画像に対して瞳検出を行ない，瞳中心座標(xin, yin)を取得する。次に(xin, yin)を基に目領域を抽出し，目を強膜部分,瞳部分,肌,目輪郭に領域分割をする。
アイコンタクト座標変換部では，モニタ,カInput Image

メラ,ユーザとの位置関係から取得した3種のDetect Iris Position (xin , yin)

パラメータから視野角を算出し，検出された瞳中心座標(xin, yin)をアイコンタクト座標(xout,Segmentation of Eye Partsyout)に変換する。

Setting Parameter (H, V, Duc)

瞳再描画部では，目領域内の全画素(sn, tn)に対して，(xout, yout)までの距離dnを算出し，dn値を閾値判別することで再描画領域を決定す

Pre-processing

Eye Region Detection

Circulate Eye-Contact Position (xout , yout)
Circulate Distance from (xout , yout)
to all pixel (sn, tn) in Eye Region

る。判別された領域内では，dn値を用いて描− 98 −Redrawing of Eye Parts

Redrawing of (sn, tn)

図1

画色を変化させ，強膜，瞳を再描画する。

Translate to
Eye-Contact Position

アイコンタクト顔画像生成フロー

２.２

アイコンタクト座標変換

図２に示すようなモニタ,カメラ,ユーザとの重心位置関係をDuc(ユーザ〜カメラ間距離), V(モニタ〜カメラ間垂直距離), H(モニタ重心〜カメラ間水平距離)の3種のパラメータとして指定し，手動で各距離を計測した後，垂直視野角度θverと水平視野角度θhorを式(4)にて算出する。次に，元の瞳中心座標(xin, yin)に対してθver, θhorを顔画像上でのpixel値に変換する関数Δx，Δyに代入し，移動後の瞳中心座標(xout, yout)を式(1)にて算出する。
また，式(2)の(xmax, ymax)および(xmin, ymin)はモニタを目視した場合における，検出された瞳中心座標の最大値と最小値である。
T ver

VDucT hor

xoutxin  'x T hor : 'x T hor

y outyin  'y T ver : 'y T ver

tann 1HDuc(1))

T horxmaxm  x minT very max
m  y min( x, y ) max

ࠉDeteect maximum poositionࠉ
of iris( x, y ) min

ࠉDetect minimum poosition of iris

図2２.３

tan 1(2))

視野角度計算におけるパラメータの位置関係

瞳再描画

瞳再描画の前処理として，目を強膜部分,瞳部分,肌,目輪郭に領域分割をする。入力画像から検出された瞳中心座標(xin, yin)を基に，目領域を抽出する。その領域に対して，強膜（白目）, 瞳（黒目）,肌の各々の個別領域を濃度差の閾値判定によって図3に示すように領域分割する。個別領域を判定する方法は，以下に示すような手順で行う。
(a): 閾値以下の領域に fi,j ＝1としてラベリングする。
(b): 目領域の始点から垂直走査して，上下の濃度差が閾値未満となる領域では fi,j ＝3，閾値以上となる領域では fi,j ＝2としてラベリングする。
(c): 同様に終点から垂直走査して，(b)と同様に行う。
(d): 残存する部分を fi,j ＝0としてラベリングする。
この処理を左目領域, 右目領域に対して行い， fi,j ＝0の領域が強膜, fi,j ＝1の領域が瞳, fi,j ＝2の領域が目輪郭, fi,j ＝3の領域が肌であるとする。
目領域の始点から終点までを水平方向に走査させ，任意の画素(sn, tn)から瞳中心座標(xout, yout)までの距離dnを求める。dnが瞳の半径r以内且つ, fi,j ＝0または fi,j =1ならば，瞳部分であるとして，黒色を用いて描画し，距離dnが半径r以上且つ fi,j =1であるならば，強膜部分であるとして，白色を用いて描画す− 99 −

るという条件により，式(3)を用いて瞳を再描画する。図4に上記のパラメータ関係を示す。瞳は虹彩と瞳孔によって構成されているため，同色で描画するのは不自然である。また，目は涙で覆われていることから，環境光によって常に反射光が入る。より現実に近い目を再現するために，式(4)にて同心円状にグラデーションをつけ，平滑化を行うことで，瞳再描画を行った際の不自然さを抑制する。
2­d( s n  xout ) 2  (t n  y outo )° n
 Bi, j°d n  r°®d n t r  f i, j 1  Wi, j°xelࠉvalue°d n t r  f i, j 0  Fi, j : pix° f i, j : label nu
umber in Fig.3¯Bi, jblaack  d n u DWi, jwhhite  d n u D

D : constaant§ black¨¨ white©

図3

min ^Fi, j | f i, jmax ^Fi, j | f i, j

瞳再描画における目領域分割(3))(4))

1` ·¸0`¸¹

図4

瞳再描画におけるパラメータ関係

３. 瞼輪郭のモデル生成
３.１

眼球運動に伴う瞼動作の計測実験

瞼輪郭モデルを生成するために，被験者6名の瞼動作を記録して，特徴抽出を試みる計測実験を行った(図 5)。視野角の関係により，カメラと被験者の距離を50cm とし，カメラを設置し，被験者の頭部を固定する。正面, 視野角 10°，20 °，30 °時の各 8 方向の注目点(計 25 点)を,眼球のみ動かして 注視した時の顔画像を撮像する。注目点 25 点には効率を考え，注目点番号を付与した(図 6)。今回は，後述するモデル生成のデータには使用しなかったが，動画像による撮像を行った。
以下，2パターンの眼球運動に伴う瞼動作の撮像を行った。
・[円形状パターン]1→2→3→4→5→6→7→8→9→10→11→12→13→14→15→ 16→17→18→19→20→21→22→23→24→25(終了)・[放射線状パターン]1→2→1→3→1→4→1→5→1→6→1→7→1→8→1→9→1 →10→1→11→1→12→1→13→1→14→1→15→1→16→1→17→1→18→1→19 →1→20→1→21→1→22→1→23→1→24→1→25(終了)

500m
mm

T view
T view

図530r
20r
10r
CCamera

被験者と呈示板の関係

図6− 100 −

呈示刺激

３.２

瞼輪郭および瞳の特徴点定義

撮像した動画像をフレームレートに従って静止画像に分割し，目視判断によって，注目点番号に対応する静止画像を選出する。選出した各顔画像について，顔特徴点手動入力モジュールを使用し，瞼および瞳特徴点を手動で入力する。このモジュールは，本研究グループで研究・開発を行っている似顔絵生成システムの一部であり，顔部品の特徴点を入力できる機能を持っている。また，入力された特徴点を正規化することによって，データ間の演算処理を容易にすることができる。それぞれ入力される特徴点は，上瞼特徴点(5点)，下瞼特徴点(5点)，瞳特徴点(9点)であり，瞼輪郭および瞳の始点と終点は重複する(図7)。

  ۵㸸≉ᚩⅬ
図7３.３

瞼輪郭および瞳輪郭の特徴点入力

瞼輪郭および瞳輪郭の平均モデルデータ生成

注視点25点における被験者６名の顔画像150枚(25枚×6名)に対して，特徴点の平均を算出し，瞼および瞳を線で描画する。各モデルは，瞳の大きさを基準として正規化されており，瞳特徴点の重心を算出して位置合わせを行っている。また，描画線については，特徴点入力時に顔画像データから輪郭線を直接トレースしてデータを取得している。瞼モデルを図8に示す。

３.４: 10 㼻: 20 㼻

図8輪郭モデルデータ生成: 30 㼻 

任意角度視点の瞼輪郭および眼球輪郭近似モデル生成

前節で取得した注目点25箇所の瞼／瞳輪郭モデルを利用して，方向角0゜〜360゜，視野角0゜〜30゜の任意角度の瞼／瞳輪郭近似モデル生成手法を提案する。
瞼／瞳輪郭モデルデータは，図9に示す方向角x゜〜x+45゜(0≦x≦315)，視野角10°，20°，30°で構成されている。作成すべき方向角と視野角を決定すると対応する最寄りのモデルデータを最大4− 101 −つ参照し，瞼輪郭モデルを適切に推定する。式(5),(6)は，任意方向角xと視野角yを算出するための内分点を求めており，参照される各既知モデルから線形補間によって任意角度の瞼輪郭モデルが作成される。作成した任意角度の瞼輪郭モデル例を図10に示す。
1­° Rx n T T a  x  TD n°a®
1° RyT  y TEn°¯ n T b b( n 1, 2, 3, 4)Dk(5)Rx k  Rykn

¦ Rxk  Ryk

(6)

k 1

( n 1, 2, 3, 4)

x  45q(a)方向角: 299 ゜
視野角: 29 ゜(a) ᪉ྥゅ:299ࢎど㔝ゅ:29ࢎ

䠖Using 2 data
䠖Using 3 data
䠖Using 4 data(b)

方向角: 231 ゜
視野角: 13 ゜(b) ᪉ྥゅ:231ࢎど㔝ゅ:13ࢎ

xq

10 q 20 q 30 q(c)

方向角: 173 ゜
視野角: 17 ゜(c) ᪉ྥゅ:173ࢎど㔝ゅ:17ࢎ
図9

任意視点のモデル推定に使用する参照データ数

図 10

任意視点瞼／瞳輪郭モデル推定結果例

４. 瞳・瞼輪郭画像生成実験
４.１

瞼輪郭および眼球輪郭近似モデル生成結果推定された座標データを用いて，ペイントツールで手動にて瞼および瞳を再描画した。撮影された画像と瞳のみの再描画した画像と瞼・瞳再描画した画像の３種を比較して，瞼・瞳が再描画された画像の再現性を試験的に検証した。
本実験では，最も瞼輪郭の形状変化が小さいと考えられる視野角10°の注目点(8点)において，全被験者６名の瞼および瞳の再描画を行った。再描画結果の一例を図11に示す。各被験者の正面顔
左眼画像は左側に示し，右上段は瞼・瞳再描画，右下段は瞳のみの再描画結果である。

− 102 −

（a）
方向角：0 °）(a) 被験者A
⿕㦂⪅A（( ᪉ྥゅ㸸0r)（b）
方向角：45 °）(b) 被験者B⿕㦂⪅B（( ᪉ྥゅ㸸45r)（c）
方向角：135 °）(c) 被験者C⿕㦂⪅C（( ᪉ྥゅ㸸135r)（d）
方向角：225 °）(d) 被験者D⿕㦂⪅D（( ᪉ྥゅ㸸225r)（e）
方向角：270 °）(e) 被験者E
⿕㦂⪅E（( ᪉ྥゅ㸸270r)（f）
方向角：315 °）(f) 被験者F⿕㦂⪅F（( ᪉ྥゅ㸸315r)

図 11 輪郭モデルを用いた瞳・瞼再描画結果例

４.２

考察

方向角0゜〜180゜の場合は，瞳のみ再描画処理と瞼・瞳再描画処理を施したアイコンタクト顔画像に不自然さは感じられなかった。要因として上眼瞼下端と下眼瞼上端の変化が共に少ないことが挙げられる。したがって，瞼輪郭が再描画されていない場合でも十分アイコンタクト性が再現できると考えられる。
しかしながら，方向角225゜〜315゜の場合は，瞳のみ再描画処理を施すと不自然さを感じる結果を得た。瞼・瞳再描画処理では，二重瞼の場合において不自然さが感じられたが，瞼に対する違和感だけであり，アイコンタクト性は失われていない結果を得た。要因として上眼瞼下端の変化が多いことが挙げられる。より自然なアイコンタクト顔画像を生成するには，二重瞼の再描画処理を行う必要性があるが，瞼の判別を行わなければならないと考えられる。

５. 一重／二重瞼判別の検討
人の瞼は一重・二重に大別することができるが，それによって顔の印象は大きく変わると言える。我々は，実世界で人の瞼を目視した場合，見た目でどちらか判断することは容易にできるが，デジタル画像中において明確な境界情報は失われてしまい，瞼がどちらであるかを判別することは困難である。そこで，平均顔から作成した目領域画像をテンプレートとして使用し，入力した目領域画像の一重・二重を判別する手法を検討した。
５.１

類似度および相違度を用いた判別方法

平均顔は瞼輪郭の形状変化に対応するために，性別，一重・二重瞼を大別して，さらに瞼頂点の位置を図12に示すように目頭寄り，中央，目尻寄りの3種類に大別して作成した。これらの平均顔に対して，瞳を中心に48×36ピクセルの矩形領域を切り出し，テンプレート画像として計6枚を作成する。入力画像1枚に対して，一重・二重各3種類のテンプレートを用いてテンプレート・マッチングを行い，類似度R(式(7))ならびに相違度D(式(8))を算出する。一重・二重のテンプレート群において，それぞれ極大の指標値を比較して，最大の指標値をもつテンプレートを判別結果とした。

− 103 −(a) ┠㢌ᐤࡾ（a）
目頭寄り(b) ୰ኸ（b）
中央(c)
┠ᑼᐤࡾ
ࡾ
（c）
目尻寄りᅗ
Ⅼ఩⨨࡟ࡼࡿ㢦㢦⏬ീࡢศ㢮
図12
12 ▛㡬Ⅼ瞼頂点位置による顔画像の分類⾲表
1 ࢸࣥࣉ࣮ࣞࢺ⏬
ࢸテンプレート画像一覧
⏬ീ୍ぴ

N
1 M 1¦ ¦ I(i, j)T (ii, j)
R NCCj 0 i 0¦ ¦ I(i, j) u ¦ ¦ T (i, j)
2j 0 i 0DSAD

５.２(7)

N1 M 1N1 M 1

2j 0 i 0M 1 N11¦ ¦ I i, j  T i, j 
255u M u N j 0 i 0(8)判別実験内容および結果

平均顔作成時と同様に収集した顔画像を男女に分類し，さらに一重・二重を目視にて分類する。
また，顔画像から目領域を手動で設定した。実験対象の顔画像は男性の一重で左右の目を合わせて30枚使用し，二重も同じように30枚使用した。女性も同様に枚数を合わせ，合計で120枚の目領域画像を対象とした。男女，一重・二重それぞれのカテゴリーにおいて指標別に成功枚数と成功率を表2に示す。最も成功率が高いカテゴリーは一重男性，低いカテゴリーは二重女性であった。
表2

指標別における成功枚数と成功率ᯛุูᣦᣦᶆ ⏨ᛶᛶ䞉୍㔜 ⏨ᛶ䞉஧㔜㔜 ዪᛶ䞉୍㔜 ዪᛶ䞉஧㔜ዪྜィ┦㐪ᗘᗘ㻰 㻞㻜ᯛᯛ䠄㻢㻣㻑䠅 㻝㻥ᯛ䠄㻢㻟㻑㻑䠅 㻞 㻡ᯛᯛ䠄㻤㻟㻑䠅 㻝 㻟ᯛ䠄㻠㻟㻑䠅 㻣㻣ᯛ䠄㻢㻢㻠㻑䠅㢮ఝᗘᗘ㻾 㻞 㻣 ᯛ䠄㻥㻜㻑䠅ᯛ㻞 㻝 ᯛ䠄 㻣 㻜 㻑 䠅 㻞㻠ᯛ䠄㻤㻜㻑䠅 㻞 㻜 ᯛ䠄 㻢 㻣㻑㻑 䠅 㻥 㻞ᯛ䠄 㻣㻣㻑䠅５.３

考察

相違度Dと類似度Rによる類似度の結果を比較すると，カテゴリー毎のばらつきはあるが，合計の成功率を比べると類似度の成功率は約77%，相違度の成功率は64%となり，約13%の差があった。
正規化相関を用いた類似度は画像の輝度値が正規化されているため，単純に差を求める相違度よりも成功率が高くなるという結果になった。決して良い結果ではないが，その原因として一番大きい− 104 −

のが瞼位置のずれである。類似度を用いた場合は，ある程度の輝度差を無視できるので，重要なのは瞼の位置合わせであると言える。これらのことから，提案手法である平均目領域画像を用いた一重・二重判別は瞼位置を揃えることで精度が向上すると考えられる。

６. まとめ本研究では，より自然なアイコンタクト顔映像を作成すべく，瞳再描画技術と連動させて，瞼の動きも再描画させる機能をEye-Contact Cameraシステムに組み込むことを目的とし，その品質向上のための検証実験を行った。
具体的には被験者6名に一定の眼球運動をカメラで撮像し，その映像より25点の注目点の静止画像を作成した後，注視点の瞼動作を詳細に記録した。この記録より平均データを作成し，眼球運動に伴う瞼動作モデルとして導入した。そして瞼の動きモデルを利用し，視野内の任意の方向の眼球運動に対処するため，瞼動作の補間技術を提案した。また，瞳のみおよび瞳と瞼の再描画の画像例をそれぞれ実験的に作成することで，瞼を再描画することの有効性を確認することができた。
また，瞼輪郭描画印象の向上のため，平均目領域画像を用いて入力目領域画像の一重・二重を判別する手法を提案した。
男女，一重・二重それぞれに分類して平均顔を作成し，さらに目の形状による分類を目視にて行い，テンプレート・マッチングによる判別実験を行った。正規化相関による類似度と絶対差の総和による相違度を用いてそれぞれ実験を行い，判別結果を比較すると，類似度を用いた場合の成功率は約72%，相違度を用いた場合は約64%となった。
今後の改善点としては，瞼の動きモデル生成および精度向上である。今回，任意方向の瞼形状の生成を行ったが，Eye-Contact Cameraシステムとの関係を考慮し，頭部の回転方向における判定モジュールも必要である。瞼判別においても最も高い成功率は77%であり，精度が高いとは言えないので改善が必要である。瞼の位置がずれると成功率の低下につながるため，瞼の頂点位置を探索するための特徴量が必要である。

文献[1] J.L.Zitnick, J.Gemmell and K.Toyama: Manipulation of Video Eye Gaze and Head Orientation
for Video Teleconferencing, Microsoft Technical Report, MSR-TR-99-46 (1999)[2] H.Ishii，M.Kobayashi and J.Grudin: "Integration of interpersonal space and shared workspace:
ClearBoard design and experiments"，ACM Transactions on Information Systems，Volume11，Issue 4，pp.349-375 (1993)[3] 小木哲朗，山田俊郎，栗田裕二，服部陽一，廣瀬通孝: 仮想空間共有のためのビデオアバタ技
術とその利用法 ，日本バーチャルリアリティ学会論文誌，Vol.8，No.1，pp.37-46 (2003)[4] 石井裕，渡辺 富夫:

VirtualActorを対面合成した身体的ビデオコミュニケーションシステ

ム ，ヒューマンインタフェース学会論文誌，Vol.5，No.2，pp.73-82 (2003)[5] R.Yang and Z.Zhang: "Eye Gaze Correction with Stereovision for Video-Teleconferencing "，IEEE Trans. on Pattern Analysis and Machine Intelligence，vol.26，No.7，pp.956-960 (2004)[6] B.Yip: "Face and Eye Rectification in Video Conference Using Artificial Neural Network "，− 105 −

Proc. of IEEE International Conference on Multimedia & Expo 2005，CD-ROM (2005)[7] 舟橋琢磨，藤原孝幸，輿水大和： 遠隔地非対面会話における顔インタフェースメディア生成，精密工学会誌vol.75, no.2, pp.321-325 (2009)− 106 −