33E-1
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

第 23 回日本バーチャルリアリティ学会大会論文集（2018 年 9 月）

容貌変形を用いた精神状態の切り替え支援システムの開発
世田圭佑 1) ，吉田成朗 1) ，横山正典 2) ，鳴海拓志 1) ，徳永徹郎 3) ，巻口誉宗 3) ，高田英明 3) ，谷川智洋 1) ，廣瀬通孝 1)1) 東京大学大学院情報理工学系研究科知能機械情報学専攻（〒 113-8656 東京都文京区本郷 7-3-1, {seta, shigeodayo,narumi, tani, hirose}@cyber.t.u-tokyo.ac.jp）
2) 東京大学大学院工学系研究科先端学際工学専攻（〒 113-8656 東京都文京区本郷 7-3-1, yokoyama@cyber.t.u-tokyo.ac.jp）
3) 日本電信電話株式会社 NTT サービスエボリューション研究所（〒 239-0847 神奈川県横須賀市光の丘 1-1,
{tokunaga.tetsuro, makiguchi.motohiro, takada.hideaki}@lab.ntt.co.jp）
概要: 働き方の多様化から職場と家庭での精神状態の切り替えが困難になる Work-Family Conflict が問題視されている．本研究では，アバタの容姿がユーザの精神状態を特定の方向に誘導する知見に着目し，ユーザの容貌を特定の形に変形したアバタを提示することで精神状態の切り替えを支援するシステ
ムを提案する．実際にクラウドソーシングを用い，仕事で優秀に感じる容貌への変形を実現する容貌評
価モデルを構築した．
キーワード： 人間拡張，作業支援，アバタ，画像処理

1.

はじめにConflict の低減を図るシステムを提案する．まず，課題を単PC やスマートフォンの普及や，安定・高速なデータ通信純化するために，家庭から仕事への精神状態の切り替えのを可能とする情報基盤技術の発展により，テレワークのよ支援を目的と設定する．具体的な手法として，ユーザの精うな時間や場所に制限されない就労が可能となっている．こ神状態を仕事にとりかかりやすい状態に誘導できるように，のような就労形態は通勤時間の短縮や家庭で過ごす時間のユーザの容貌を「仕事を優秀に行えそうな印象を受ける容増加などの利点がある一方で，仕事と家庭の区別を困難に貌」(以下，仕事で優秀な容貌) に変形して見せることを考し，Work-Family Conflict の発生を助長する可能性がある．

える．本稿では，仕事で優秀な容貌についての認知特性のWork-Family Conflict とは，個人の仕事と家庭における役データをクラウドソーシングを用いて収集し，容貌評価モ割要請が，いくつかの観点で両立し得ない際の役割間葛藤デルを構築したことについて述べる．の一種である [1]．Work-Family Conflict の例として「家庭でのストレスによって仕事においてもイライラしてしまい

2.

関連研究集中できないこと」や「仕事で未達成の課題があり，それに2.1

Work-Family Conflict 低減についての研究

Work-Family Conflict を低減するために様々な研究が行気を取られて家庭での振る舞いがおろそかになること」なわれてきた．例えば，その瞬間の個人の役割を自然に意識どが挙げられる．

Work-Family Conflict の低減のために，アバタの容姿がするマインドフルネスによって，Work-Family Conflict をユーザの精神状態を特定の方向に誘導するという心理学的低減する研究がある [5]．しかしながら，マインドフルネス知見に着目した．提示されたアバタにユーザが自己帰属感は瞑想の訓練を要するため習得が容易ではない．他方，情を得た際に，ユーザの精神状態がそのアバタの容姿に沿っ報技術を利用した研究として，仕事の前後で，会話を自動た状態に誘導されることが示されている [2, 3, 4]．この知見で行うチャットボットによる，簡易なカウンセリングを実現を用いれば，瞑想の訓練などの意識的努力を必要とせずに，する SwitchBot[6] がある．この研究は他者とのインタラク

Work-Family Conflict を低減するためのシステムを構築でションをエージェントに代替させることによる Work-Family

きると考える．

Conflict の低減の可能性を示した．

本研究では，ユーザの容貌を特定の形に変形したアバタ

本研究では，後述のアバタによる精神状態誘導の心理学的を見ることで精神状態の切り替えを支援し，Work-Family

知見を応用し，練習や他者とのインタラクションといった煩雑な作業を必要とせず，アバタを見るだけで Work-Family

Keisuke SETA, Shigeo YOSHIDA, Masanori
YOKOYAMA,Takuji
NARUMI,
TetsuroTOKUNAGA, Motohiro MAKIGUCHI, Hideaki
TAKADA, Tomohiro TANIKAWA and Michitaka
HIROSE© 2018 日本バーチャルリアリティ学会

Conflict を低減することを試みる．
2.2

アバタによる精神状態誘導についての研究

個人が何らかのインターフェースを介して個人を表するアバタを利用している際，個人の精神状態はそのアバタの- 33E-1 -33E-1

容姿に沿った状態に誘導され，言動や行動が変化することが知られている．Yee et al. は VR 環境において，アバタの容姿の美醜に応じてユーザの行動が変化する Proteus Eﬀectを示した [2]．

VR 環境における CG のアバタだけではなく，ディスプレイなどで実写ベースのアバタを見せることで，ユーザの精神状態を誘導できることも知られている．Tsakiris は自分の顔が撫でられるのと同時にディスプレイに提示されている他人の顔が撫でられると，他人の顔に自己帰属感が生

図 1: 399 個の制御点

じ，自己意識が変化する enfacement illusion を示した [3]．

図 2: 容貌変形した顔画像

また，Yoshida et al. はユーザの表情を笑顔や悲しみの表情
容貌変形アルゴリズムには Schaefer et al. の rigid MLS

へと画像処理によって変形して，リアルタイムにユーザに見せることで，ユーザの感情をその表情から連想されるもmethod[7] を用いた．変形のためのパラメータとして，眉の大きさ，眉と眉の距離，眉の高さ，目の大きさ，目と目ののに誘導できることを示した [4]．
以上の知見から，ユーザが仕事に取り組みやすい精神状態に誘導できる容姿のアバタに自己帰属感を持つことができれば，職場と家庭での個人の役割の切り替えがスムーズとなり，Work-Family Conflict を低減できる可能性があると考える．本研究では，この知見を応用して精神状態の切距離，目の高さ，鼻の横幅，鼻筋の高さ，鼻の高さ，口の大きさ，口の高さ，輪郭の形状，輪郭の大きさの計 13 個を設定した. より自然で滑らかな変形を実現するために，川瀬らの研究 [8] を参考に，FaceTracker2 で得られる 68 個の顔特徴点について，その点と点の間を補完するように特徴点を増やすことで 399 個に拡張して容貌変形処理を行う (図 1)．

り替えを支援するシステムを構築する．

本システムにより，図 1 の容貌から，目の大きさを小さく容貌変形による精神状態の切り替え支援システム

3.
3.1

システムの概要

本研究では，アバタの容姿がユーザの精神状態を誘導するという心理学的知見に着目し，ユーザの容貌を仕事で優し，輪郭が膨らむように変形した例を図 2 に示す．

4.

仕事で優秀な容貌の評価モデルの構築

4.1

概要

仕事で優秀な容貌への変形を実現するために，適切な変秀な容貌へとリアルタイムに変形して，実写ベースのアバタとして見せることにより，ユーザの精神状態を仕事に取形パラメータについて検討する．変形パラメータを変数として仕事で優秀な容貌についての評価値を出力するモデルり組みやすい状態へと誘導するシステムを構築する．
アバタの提示手法として，ユーザの容貌を画像処理で変を構築する．
モデル構築に際し，仕事で優秀な容貌という言語化しに形して実写ベースのアバタとして見せる Yoshida et al. の手法 [4] を用いる．この手法は，アバタを見つめるだけでユーザに自己帰属感を与え精神状態を誘導できることが示されており，VR 機器を用いて没入感を高める手法 [2] や，アバタとユーザに同期的に触覚刺激を与える手法 [3] と比較くく，国や文化圏に依存する価値観に影響を受けるデータを大量に短期間で集める必要があった．そこで，本研究では，国内クラウドソーシングサイト Lancers3 を用いて，日本人が仕事で優秀な容貌についての評価データを収集した．
ランダムな変形パラメータで生成された変形顔画像を提示して，簡便に精神状態の誘導の効果が得られると考える．
本システムの使用の流れは，まず，Web カメラなどでユーザの容貌を取得し，仕事で優秀な容貌へと画像処理で変形する．そして，変形した容貌を実写ベースのアバタとしてディスプレイに表示する．このアバタはユーザが表情や顔の向きを変えた際に追従する．ユーザはアバタを数秒見つめることにより，精神状態を仕事に取り掛かりやすい状態ウザ上で評価してもらった．変形の元画像には表情変化の無い顔画像を使用した．変形パラメータは川瀬らの研究 [8] を参考に，眉の大きさ 0.9〜1.1，眉と眉の距離 -0.025〜0.025，眉の高さ -0.025〜0.025，目の大きさ 0.9〜1.1，目と目の距
離 -0.025〜0.025，目の高さ -0.025〜0.025，鼻の横幅 0.9〜1.1，鼻筋の高さ 0.8〜1.2，鼻の高さ -0.025〜0.025，口へと誘導される．

3.2

し，仕事において優秀であると感じるかどうかを Web ブラの大きさ 0.95〜1.05，口の高さ -0.025〜0.025，輪郭の形状

容貌変形機能の構築

容貌変形を実現するために，機械学習ライブラリ dlib1の顔検出器を利用した FaceTracker22 を用いて顔の向きや-3〜3，輪郭の大きさ 0.975〜1.025 の範囲でランダムに決定した．

Koyama et al. の研究 [9] を参考に，被験者には，2 枚のパーツの位置の推定を行った．FaceTracker2 はロバスト性が高く，顔データを学習済みで新しい学習を必要としないといった利点があるため使用した.

変形画像を提示して，それらの画像の相対的な評価を一対比較にて行ってもらった．そして，このデータを統計的な処理にかけることで顔画像評価の絶対値を算出する手法を

1 http://dlib.net/
2 https://github.com/HalfdanJ/ofxFaceTracker2© 2018 日本バーチャルリアリティ学会

3 https://www.lancers.jp/- 33E-1 -33E-1採用した．これはクラウドソーシングにおける，一貫した回答を得たり，評価基準を一致させることが困難な問題を解消するためである．

4.2

被験者

被験者は日本人成人 250 名で，クラウドソーシングサイ
ト Lancers 上で募集した．評価タスクを完了した被験者に250 円の報酬を Lancers 経由で支払った．
4.3

評価タスク

実験に使用した評価タスクの例を図 3 に示す．前述の通り，2 枚の変形画像を提示して，それらの画像の相対的な評価をする一対比較をしてもらった．評価の質問は「どちらがデスクワークにおいて優秀な人だと感じますか？」とし

図 3: 評価タスクの例

た．デスクワークに限定した理由は，デスクワークと肉体労働とでは優秀な容貌の評価基準が異なる可能性があること

グで比較された変形顔画像の組み合わせの集合である．di,jと，本システムの使用状況としてデスクワークのほうが適は容貌評価の Likert 尺度に対応する項で，容貌評価が 1 の切であると考えたからである．評価は 5 段階の Likert 尺度

ときは 1，2 のときは 0.5，3 のときは 0，4 のときは-0.5，5であり，左の変形顔画像を A，右の変形顔画像を B として，のときは-1 である．

1(A の方がとても感じる)〜3(A も B も同程度に感じる)〜5(B の方がとても感じる) とした．

Econtinuous (y) は 13 次元の変形パラメータ x が似ている変形顔画像の評価値を近いものに補正するための項であ評価タスクでは，10 名 (日本人男女各 5 名) の変形顔画像の評価を 1 セットとして，計 8 セットの評価を行ってもり，ω は重み付けである．本実験では，ω = 100 とした．Q
は容貌評価に使用した変形顔画像の集合である．

らった．この際，被験者の評価精度の確認と顔画像提示位置による評価基準への影響をキャンセルすることを目的に，得られた各変形顔画像の評価の絶対値 y を用いて，RBF補完を行った．

2 枚の顔画像の提示位置を入れ替えた評価も 10 個用意した．
f (x) =

また，不正な被験者の評価データを解析に含めるのを防ぐ∑

ωi ϕ(∥x − xi ∥)(6)i∈Qために，提示する 2 枚の顔画像を全く同一のものにする極端な評価を 1 個追加した．この追加タスクの顔画像は容貌min∑ ∑ω

評価に用いる 10 名の男女の中からランダムに選ばれた．しi∈Q2

ωj ϕ(∥xi − xj ∥) − yi+ λ∥ω∥2(7)j∈Q

たがって，被験者は 1 セットにつき，10 名の男女の容貌評

定数 λ は λ = 0.1 とした．また，放射基底関数 ϕ は ϕ(r) = r

価とその顔画像の提示位置を入れ替えた評価，不正チェックとした．これによって得られた 10 名の男女それぞれの関数の評価の合わせて 21 個の容貌評価を行った．また，評価タf (x) を用いることで，変形パラメータ x について，仕事でスクにかかった時間を計測し，著しく評価時間が短い被験優秀な容貌の評価値を推定できる．

者のデータも解析から取り除いた．

4.5

4.4

解析手法

構築した容貌の評価モデルの評価と考察

被験者 250 名のデータの内，不適切なものを除外し，123クラウドソーシングによって得られた 2 枚の顔画像の相名のデータを採用して容貌評価のモデル構築を行った．容対評価のデータから，各変形顔画像の評価の絶対値のベクト貌変化を行っていない元画像と，容貌変化画像と構築した

ル y を推定する．推定には，以下の数式の E(y) の最小化モデルによる評価値の例を図 4 に示す．容貌変化画像を成問題として定式化する Koyama et al. の手法 [9] を用いる．

人男女数名に見せた際，評価値が低いと仕事が優秀でないE(y)Erelative (y)= Erelative (y) + ωEcontinuous (y) (1)=∑∥yi − yj − di,j ∥2(2)(i,j)∈P

Econtinuous (y)

=

∑i∈Q

α(i)

=

yi −

∑

=

1
D(yi , yj )∥xi − xj ∥致した意見が得られた．今後，より多くの人に評価してもらう実験を行い，詳細な印象評価を行う予定である．
容貌評価モデルの妥当性を検証するために重回帰分析を

2

yjα(i)D(yi , yj )(3)

行った．独立変数を 13 個の変形パラメータ，従属変数を評価モデルによる容貌評価値とした．重回帰分析の結果を表 1 にj∈Q(j̸=i)j∈Q(j̸=i)

D(yi , yj )∑印象であり，高いと仕事が優秀な印象であるという概ね一(4)(5)

示す．決定係数は 0.26 で，F (13, 19666) = 541.7，p < .01であった．表 1 より，容貌評価値には目の大きさがの影響が最も大きく，次点で，輪郭の大きさの影響が大きかった．
一方で，眉の大きさと鼻の高さの影響は無かった．

Erelative (y) はクラウドソーシングの容貌評価で得られる目の大きさと輪郭の大きさは容貌の魅力に寄与する特徴相対的な評価値に基づく項である．P はクラウドソーシンである [10, 11]．このことから，仕事で優秀な容貌は魅力的© 2018 日本バーチャルリアリティ学会- 33E-1 -33E-1[2] Nick Yee and Jeremy Bailenson. The proteus eﬀect:
The eﬀect of transformed self-representation on behavior. Human communication research, Vol. 33,No. 3, pp. 271–290, 2007.
[3] Manos Tsakiris. Looking for myself: current multisensory input alters self-face recognition. PloS one,Vol. 3, No. 12, p. e4040, 2008.
[4] Shigeo Yoshida, Tomohiro Tanikawa, Sho Sakurai,
Michitaka Hirose, and Takuji Narumi. Manipulationof an emotional experience by real-time deformed
facial feedback. In Proceedings of the 4th Augmented
Human International Conference, pp. 35–42. ACM,2013.
[5] Tammy D Allen and Kaitlin M Kiburz. Trait mindfulness and work–family balance among working
図 4: 仕事で優秀な容貌の評価の例

parents: The mediating eﬀects of vitality and sleepquality.

表 1: 容貌評価モデルの重回帰分析の結果
偏回帰係数
t値
p値
切片
0.4963822.586**
眉の大きさ-0.0019-0.922
眉と眉の距離0.0092
4.390
**
眉の高さ
-0.0208-9.954**目の大きさ
0.163678.365**目と目の距離0.0046
2.178*
目の高さ
0.0114
5.454
**
鼻の横幅
-0.0285-13.723**
鼻筋の高さ-0.0121-5.787**
鼻の高さ-0.0017-0.818口の大きさ-0.0106-5.046**口の高さ
0.0063
3.028
**
輪郭の形状
-0.0150-7.131**
輪郭の大きさ-0.0431-20.613****: p < .01 *: p < .05

Journal of vocational behavior, Vol. 80,

No. 2, pp. 372–379, 2012.
[6] Alex C Williams, Harmanpreet Kaur, Gloria Mark,Anne Loomis Thompson, Shamsi T Iqbal, and JaimeTeevan. Supporting workplace detachment and reattachment with conversational intelligence. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, p. 88. ACM, 2018.
[7] Scott Schaefer, Travis McPhail, and Joe Warren.
Image deformation using moving least squares. InACM transactions on graphics (TOG), Vol. 25, pp.
533–540. ACM, 2006.
[8] 川瀬佑司, 吉田成朗, 鳴海拓志, 上田祥代, 池田まさみ,渡邊淳司, 谷川智洋, 川本哲也, 廣瀬通孝. Mob scenefilter: 顔部位の形状・位置変形を利用した他人顔変換な容貌と似た特徴があることが示唆された．これは，魅力手法. 日本バーチャルリアリティ学会論文誌, Vol. 21,が誠実さの評価にポジティブに影響する [12] ように，魅力

No. 3, pp. 483–492, 2016.
[9] Yuki Koyama, Daisuke Sakamoto, and Takeo

が優秀さの評価にポジティブに影響したと考えられるため，評価モデルに一定の妥当性があると考える．

5.

Igarashi. Crowd-powered parameter analysis for visual design exploration. In Proceedings of the 27th

まとめと今後の展望

annual ACM symposium on User interface software

Work-Family Conflict の低減のために，ユーザの容貌を特定の形に変形したアバタを見せることで精神状態の切り替えを支援するシステムを提案し，クラウドソーシングを用い，仕事で優秀な容貌の評価モデルを構築した．
今後は容貌評価モデルの精度の改善とともに，評価に使and technology, pp. 65–74. ACM, 2014.
[10] Caroline F Keating. Gender and the physiognomyof dominance and attractiveness. Social psychology
quarterly, pp. 61–70, 1985.
[11] Sonja Windhager, Katrin Schaefer, and Bernhard

用した顔画像以外にも適用できるようにする．そして，容貌Fink. Geometric morphometrics of male facial shape

評価モデルによって，自分や他人が見たときの容貌への印

in relation to physical strength and perceived at-象が変化するかを評価する．また，容貌評価モデルを精神

tractiveness, dominance, and masculinity. Ameri-状態の切り替えシステムに適用し，Work-Family Conflictを低減することができるのかの検証する．

can Journal of Human Biology, Vol. 23, No. 6, pp.

参考文献

805–814, 2011.
[12] Leslie A Zebrowitz,[1] Jeﬀrey H Greenhaus and Nicholas J Beutell. Sources

Mary Ann Collins.

Luminita Voinescu,

and” wide-eyed” and” crooked-of conflict between work and family roles. Academyfaced”: Determinants of perceived and real honestyof management review, Vol. 10, No. 1, pp. 76–88,

across the life span. Personality and social psychol-1985.

ogy bulletin, Vol. 22, No. 12, pp. 1258–1269, 1996.

© 2018 日本バーチャルリアリティ学会- 33E-1 -