情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P06
2022/2/21

表情認識技術を用いた役者支援システムの開発
南谷 有祇†1土方 嘉徳†1

概要：新型コロナウイルス感染症の影響で，演劇においてもインターネットのライブ配信を用いた無観客公演が行われている．本研究では，演劇の無観客公演において，表情認識技術を用いて観客の表情を解析し，解析結果を笑い声のような感情を表す音に変換することで，観客の反応を役者に伝えることができるシステム「リアクションメーカー」を開発した．観客と役者が離れた場所にいたとしても，インターネットで接続された PC により，劇を演じている役者に観客の反応をリアルタイムに伝えることができる．このシステムの有効性を検証するために，過去に一度以上観客の前で演技をしたことのある役者 3 名を対象に実証実験を行った．実験の結果，リアクションメーカーは，一般の無観客公演に比べて，役者の動機に影響を与える可能性があることが分かった．

1. はじめに伝達するツールは，コロナ禍以前から舞台上にモニターを設置しているライブやコンサートでは積極的に取り入れられたb ． し新型コロナウイルス感染症の拡大により，コンサートやかし，視覚情報の提示や光を発する提示方法を用いているた

お笑い，観劇といったステージ公演は，通常より大幅に定め，役者の視線の方向が制約されることが多く，また舞台の暗員を減らした状態で実施されたり，観客の声援を禁止した

転の回数の多い演劇に取り入れられることはなかった．

り，そもそも観客を会場に入れないで実施したり（無観客公演）して，観客と演者のかかわりがほとんどとれないよ3. リアクションメーカーの開発うになった．特に演劇においては，舞台上から観客にマイ本研究では観客の反応を音で表現し，役者側に伝えることクなしで声を届ける必要があるために，お笑いや演奏などで，観客の反応を役者が把握できるようにする．これまで観客の他のステージ公演よりも大きな声を出す必要があり，無の反応をパフォーマーに伝達するシステムは観客の動画や観観客公演を強いられることが多くなった．演劇においては，客の打ち込んだテキストや画像を送信するものがほとんどだっ

観客と役者はお互いが深くかかわりあいながら，劇のパフたc．しかし，視線を次々と動かしながら演技をする演劇ではモォーマンスが進行するため，無観客による表現の貧困化は，ニターや液晶に打ち込まれたテキストや画像を把握することは非常に大きな問題となった．

難しい．また，ライブやコンサートに比べて暗転の回数が圧倒

音楽ライブやアーティストのコンサートの無観客公演では遠隔的に多い．そのたびにモニターの表示を OFF にするのは難し

地にいる観客の反応をパフォーマーに伝える取り組みがなされい．とはいえ，ON にしたままだとモニターからの光で暗転がでていたがa，演劇ではそのような取り組みは行われてこなかった．

きず，演出の変更を余儀なくされる．そこで，リアクションメーカ

役者に観客の反応を伝えることができれば，役者は劇中での表ーでは音で感情を伝えることで，役者はどこを向いていても観現を豊かにすることが容易になると思われる．そこで，本研究で客の反応を把握できるようにした．

は観客の表情から感情を解析し，それを音として表現すること

リアクションメーカーのシステム構成を図 1 に示す．リアクショ

で，役者に観客の反応を伝えるシステム「リアクションメーカー」

ンメーカーは遠隔地の観客に対するシステム (PC1) と舞台上を開発した．本論では新たに開発したリアクションメーカーにつでパフォーマンスをしている役者に対するシステム (PC2) に分いて詳しく述べる．

かれている．観客はライブ中継で役者の演技を見る．PC1 のカ

2. 関連研究メラは観客の表情を取得し，Microsoft 社の Azure FaceAPI を使用して感情の値を算出する．撮影された画像に複数人の顔が演劇のドメインにおいて，観客の反応を使用したインタラクシ存在する場合は，それらすべてに対する感情の値がリストで出ョンツールがいくつか存在している．しかし，それらの多くが観力される．その後，算出した数値群を PC2 にインターネットを介客の反応を何らかの方法で可視化し，それを劇中に取り入れるして送信する．PC2 では送信された数値群を 0.1 秒毎に取得し，ことができるというもので，役者の支援よりは新しいパフォーマン複数人分の数値の中央値を算出し，それが閾値を上回った場スを生み出すことが目的のものであった．例えば，Damiano らは合に，事前に用意しておいた音声（例えば笑い声）を劇場に備劇の公演中に観客の感情をモニターに表示することで，役者にえ付けられているスピーカーに出力する．

観客の反応を提示している[1]．さらに，感情を提示された役者

Azure の FaceAPI で取得できるのは，画像中に写っている人は，その後どのような展開を選択するかを分析した．一方，コロの性別・年齢・感情等であるが，今回はこの中から感情の数値

ナ禍になって開発が活発化した観客の反応をパフォーマーにのみ使用することにした．具体的には，感情は anger，contempt,†1 関西学院大学 (contact [at] soc-research.org)© 2022 Information Processing Society of Japana・b・c https://ent.smt.docomo.ne.jp/article/5486294
https://prtimes.jp/main/html/rd/p/000000096.000030133.html
https://natalie.mu/music/news/379273

734

情報処理学会 インタラクション 2022
IPSJ Interaction 2022図15P06
2022/2/21

リアクションメーカーの構成

図3

研究中の役者の演技の様子

図4

実際の観劇をしている様子

disgust，fear，happiness，neutral，sadness，sadness の 8 種の尺度で表示され，それぞれ 0.0～1.0 の間の数値をとる．また，8 種の数値の合計は 1.0 になる．それぞれの尺度での数値の大きさやその組み合わせで流す音を決定する．次章で説明する実証
実験では，happiness の値（複数人の値の中央値）が 0.9 以上なら「わっはっは」と男女が笑うフリー素材の音声データを流した．

4. 実証実験開発したリアクションメーカーの有効性の検証のために過去 1 回以上観客の前で演技をしたことのある役者 3 名を対象に実験を行った．また，システムを作動させるための観客役として 5 名の協力者を募った．役者 3 名を 1 チー
ムとしてチェーホフの「熊」を演じてもらった．なお，本
実験は，当該研究機関における倫理審査委員会の承認を経て実施された．
なお，演技中，それぞれのチームの役者の動きを劇場中央に置いたカメラで収録した．
公演後に，役者に対してアンケートとインタビューで公演中に観客の存在を感じたかどうかについて尋ねた．その結果，笑いのポイントで観客の笑い声が聞こえたため，観客の存在を感じることができたという意見が得られた一方，笑いのポイントから，ずれた笑い声もあり，困惑することもあったという意見が得られた．

5. おわりに本研究では，演劇の遠隔公演において，オンライン上での観
図2

実験環境の図面

客の反応を検出し，それらを舞台の役者に認識してもらうことを目指した．顔の表情認識技術を用いることで，観客の感情を取地上 2 階，地下 1 階の 3 階建ての劇場（図 2 参照）で研究得した．役者からは，観客の存在を感じることができたという回を行った．役者は地下にある劇場の舞台上でシステムを作答が得られた．今後は，役者の演技や役者の表情を分析し，動させた状態で演技をする（図 3 参照）．演技の様子はカメ顧客の反応をどのように演技に反映させているかを分析する．

ラで撮影し，ライブ中継を行った．一方，観客役には 2 階の防音室でそのライブ中継を見てもらった（図 4 参照）．地

参考文献

下の劇場に備え付けの観客席には誰もいない状態にした．

[1] Damiano, R., Lombardo,V. and Monticone,G.. Studying anddesigning emotions in live interactions with the audience.
Multimedia Tools and Applications, Vol.80, pp. 1-26, 2021.

© 2022 Information Processing Society of Japan735