情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-49
2020/3/9

Balloon Tweet：
吹き出し型ツイートによるインタラクティブアート
古里 春菜 †1

児玉 幸子 †1

概要：世界各地で使用されている Twitter は，ユーザーが興味をもつ情報を得やすい SNS である．そのため興味のない情報と接する機会は少ないが，Twitter 上だけでも他者の言葉は無数に存在する．そのような興味のない情報に接する機会を与え，興味を持たせることを目的に本作品を制作した．作品は鑑賞者の映像をリアルタイムでモニターに映し，顔認証がされたときに取得した最新のツイートを，吹き出しと合成して鑑賞者の頭上に表示するものである．SNS を使用したこれまでのアート作品は制作者が SNS の文章に手を加えたものが多いが，本作品ではツイートの文章をそのまま表示して制作者の意図を含まない，という過去にはない作品とした．Twitter の使用者による評価実験は，普段は読まないようなツイートに対しても面白い，楽しい，新鮮などの印象を持ち，言葉の背景を考るなど積極的に関わる人が多いという結果が得られた．

1. 背景と目的によるツイートではなく，タイムラインに上がってきたツイートでもないため，鑑賞者と関連度の低い言葉，興味度世界月間アクティブユーザー数が億を超える Twitter は，の低い言葉が表示される可能性が高くなる．これにより，制限された文字数の中で感情や情報の発信ツールとして関わることのない他者の言葉に鑑賞者が興味を持てるよう使用されている．Twitter には，ハッシュタグ機能によりすることが本作品の目的である．

ユーザーが欲しい情報や関連のある情報を得やすいという特徴がある．リツイート機能は関連のない情報が得られるものではあるが，フォロワーを介するという限界があり，

2. 関連研究2.1 Twitter の表示，インタラクティブな表示全く関連のない情報にユーザー自身が辿り着くことは難し

Twitter の表示方法に関する研究は，山之らの電光掲示

い．また，多くの SNS に共通して言えることは，ある程板 [2] や William らの Twitterspace[3] が挙げられる．これ

度の匿名性を保っていることにより，フェイクニュースならは観客にとって興味のある情報や関連の高い情報を表示

どの不確かな情報も流れているということである．本研究するシステムである．本研究では最新のツイートを表示すでは，これらの問題を意識できるようなインタラクティブるため，必ずしも興味や関連が高い情報が提示されるとはアート作品の制作を目指すものである．

限らない．ゆえに，情報を読むための観客の積極性は大きSNS を使用したアート作品の exonemo「I randomly love

く異なる．紺家らによる漫画の吹き出しを用いた研究 [6]you / hate you」[1] は，SNS の会話として作家が制作しでは，映像の字幕を吹き出し内に提示して演出情報を与た言葉をモニターに映す作品である．本研究で制作するえ，直感的理解へと繋げている．本研究では吹き出し内にBalloon Tweet は第三者が投稿したツイートの文章をそのツイートの文章を表示することで，感情的視点が加わり，まま使用する作品であり，制作者の意図は含まないという鑑賞者が興味のない情報に親しみを持ち，「読む」行動に移点で新たな試みをした．本作品は鑑賞者の映像をリアルタ行しやすくなると考えた．

イムでモニターに映し，顔認証がされたとき取得した最新

また，鼻崎らによる歩行ユーザーに追従する移動広告シのツイートを，吹き出しと合成して鑑賞者の頭上に表示すステム [4] では，歩行者に対してインタラクティブに広告る．この文章にはユーザー情報は一切含まず，ツイートのを表示している．本研究では，人物は影ではなく，WEB本文のみを提示することでユーザー情報から得る先入観をカメラによって撮影している実際の映像を写した．これに排除している．このツイートは，鑑賞者自身のフォロワーより自分の映像と吹き出しを一体的に見ることができ，よ†1

電気通信大学 情報理工学研究科© 2020 Information Processing Society of Japanり鑑賞者を引き付けられると考えた．

970

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-49
2020/3/9て吹き出し内に 1 ツイートを表示する (図 1)．吹き出しは，

2.2 文字を使ったアート作品
文字を使ったアート作品は 1970 年代から登場し，作家の作成した文章を提示する Jenny Holzer[7] やイチハラヒ鑑賞者の顔が認証された時に頭上に表示し，顔の位置が変わった時には吹き出しの位置も変更する．

ロコ [8]，雑誌の文章を切り抜いてコラージュした Jorge

Macchi の「Cuerpos Sin Vida」[9]，漫画の 1 コマや吹き出しを天井から吊るした青木俊直の「クラスルーム ver.A」[10] などがある．いずれの作品も作家が意図した言葉を提示しており，言葉本来のメッセージとデザインされた提示方法が組み合わさることでメッセージの強化がなされている．

Mark Hansen and Ben Rubin による「Listening Post」[11] は，オンライン上の SNS の言葉を断片的に切り取り，複数の LED 電光掲示板で表示している作品である．SNS
から切り取られた言葉が画一的に表示されている点は，本研究と同じ表現手法である．ただし言葉は一部を切り取ら

図 1

Balloon Tweet で吹き出しが表示される様子れているため，少なからず作家の意図が介在している．本
研究では，ツイートを切り取らずに全文を提示しており，その内容に作家が介在しない点において，過去の作品とは異なる．また，文字だけを表示するのではなく，鑑賞者の映像と言葉を合成して見せることで，言葉と鑑賞者の距離感が近くなることを目指しており，過去のアート作品にはこのシステムを鑑賞者に体験した後でアンケートに回答してもらい，ユーザー情報のない文章に対する調査，吹き出し表示に対する調査を行った．これにより，鑑賞者と関連の低いツイートへの興味度の調査をした．

5. システム概要ない空間を生み出せると考えた．
システム概要を図 2 に示す．図 1 のように，モニター

3. 作品コンセプト

上部に設置したカメラにより参加者側の映像を取得し，普段は辿り着くことのない Web 上に溢れる情報と接する機会を与え，その先にも人がいることを示しつつ，情報の不確かさを感じさせる作品である．

OpenCV によって参加者の顔の位置情報を得た．この情報を Unity と連動させ，吹き出しを頭上に合成したリアルタイムの映像をモニターに映した．

本作品は，世界的にも周知されている漫画表現による「吹き出し＝発言，思考内容」という概念を使用し，ツイートを吹き出し型で表示するデザインとした．実際の Twitterで表示されるツイートと違い，投稿者 ID やアイコンなどのツイート本文以外の情報は表示せず，目の前の鑑賞者に話させることをする．

参加している (映像に映っている) 鑑賞者は，第三者の発した言葉が自分の発した言葉かのように示されるため，違和感を生み，それによって作品へ興味を持たせることができると予想する．この違和感は Twitter 上の発言の不確か

図 2

システム概要さを認識することにも繋がると考える．
参加していない鑑賞者が，参加者に表示されているツ表示するツイートは，顔認証がされた時に TwitterAPI

イートを読む場合には，目の前の人が話しているように見により取得した最新のツイート 30 件（日本語）の中から 1える．そのため情報の先の 人 が疑似的に見えることに件をランダムに選別した．そのデータに含まれているユー

繋がり，実際に「人が発した言葉である」と認識させるこ

ザーのアイコンや名前，ID など，投稿文以外の情報を除とができると考えた．

き，本文のみを抽出した．また，発話として扱うために写4. 研究方法
本システムは，モニターと WEB カメラを使用したインタラクティブアートである．Twitter API により Twitterで発信された最新のツイートを取得し，鑑賞者 1 人に対し© 2020 Information Processing Society of Japan

真や映像などのイメージ要素も表示しない．
吹き出しは，鑑賞者の顔が認証された時に頭上に表示し，10 秒毎に内容を更新する．また，顔の位置が変わった時にも吹き出しの位置と内容を更新する．
文章は横書きとし，フォントは漫画で用いられる文字に971

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3B-49
2020/3/9

近い源暎アンチック*1 を使用した．吹き出しのデザインは，自由記述項目

エクスクラメーションマークが含まれるツイートと含まな( 1 ) 吹き出しの中にツイートが表示されている印象についツイートを分け，前者は紺家らが分類した感情の高ぶりを表す吹き出しと組み合わせを行った (表 1)．吹き出しの画像は，フキダシデザイン*2 より得た．
表 1

吹き出しとツイートの組み合わせ

いて自由にお書きください( 2 ) Balloon Tweets を体験した感想を自由にお書きください

7. 実験結果
実験の様子を (図 3) に示す．実験中，全ての被験者が前後左右に椅子を移動しながらシステムを体験していた．

5 段階評価のアンケート結果は表 2 のように得た．
自由記述では，62.5%が「面白い」「楽しい」「新鮮」など，好印象の言葉を書いていた．吹き出しの形については，言葉との親和性が低いことを指摘した回答や，吹き出し自体を意識しないという回答があった．また，自分が話しているように見えた，顔の位置に合わせて吹き出しが出ることが面白いといった，顔と吹き出しの関係について回答した人も 62.5%となった．

6. 実験

ユーザー情報が無いことに対しては，「どんな人がつぶやいたのか考える」や「つぶやきに突っ込みを入れたくな6.1 実験概要る」などの回答を得た．

実験は 37 インチモニターの上部に WEB カメラ（ZCMS-V30SET）を設置して行った．被験者は Twitter を使用している 20 代 8 名とし，車輪付きの椅子に着席して，移動可能な状態でシステムを 5 分間体験してもらった．その後，評価アンケートに回答してもらった．

6.2 アンケートの設計
アンケートの質問項目は次の通りである．これにより，Twitter 使用者が本作品を使用した印象を分析した．5 段
階評価は，「1. そう思わない」「2. あまり思わない」「3. どちらでもない」「4. ややそう思う」「5. そう思う」の選択式とした．

図 3 体験の方法

5 段階評価項目
表 2 5 段階評価のアンケート結果( 1 ) ユーザー情報（アイコンや名前など）が表示されてそう思わないいるほうが良いと思いますか( 2 ) ユーザー情報はツイートを読むときに確認しますか( 3 ) ユーザー情報はツイートを読むときに影響があると思いますか( 4 ) 吹き出しの形はツイートの内容に影響を与えると思いますか( 5 ) 自分のフォロワー以外のツイートは読みたいと思いますか

そう思う

質問項目

あまり思わない

どちらでもない

ややそう思う

(1)

75.0%

00.0%

25.0%

(2)

35.7%

00.0%

62.5%

(3)

25.0%

00.0%

75.0%

(4)

00.0%

12.5%

87.5%

(5)

00.0%

25.0%

75.0%

(6)

37.5%

12.5%

50.0%

(7)

37.5%

25.0%

37.5%

( 6 ) 実験中に表示されたツイートの内容は、今まで自分が読んできたツイートと違うものがありましたか( 7 ) 実験時間終了後もさらにツイートを読みたいと思いましたか*1*2

https://okoneya.jp/font/genei-antique.html
https://fukidesign.com/© 2020 Information Processing Society of Japan

8. 考察
質問 (6) の結果から，今まで読んでないようなツイートが表示されていると感じた人が半数いたにも拘らず，自由記述のアンケート結果では作品に対して好印象な回答が多972

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

数を占めていた．また，普段はユーザー情報を確認してい3B-49
2020/3/9[5]る場合でも，作品上はユーザー情報がな無いほうが良いとの意見が 75.0%となった上に，情報が無いことで背景を想[6]像するなどに繋がっていた．これらは，普段は関わらないような言葉に鑑賞者が積極的に関わっていることを示す結果であり，本作品により，関連のない情報に興味を持たせることに成功していると考えられる．
しかしながら，5 分間の実験時間後も使用したいと回答

[7]
[8]
[9]

した人と，使用したくないと回答した人が 37.5%で同数となってしまったため，継続して使用するための飽きさせない仕組みが必要であると考えられた．

[10]

吹き出しの効果は被験者によって差が見られたが，「自分が話しているように見えて楽しかった」など，発話情報であることを改めて認識している回答も得られ，作品の狙[11]

Aliza Rosen(@alizar)，nabokov(@nabokov7)：より簡単に表現していただけるよう，ツイートの文字数を増やします，https://blog.twitter.com/，2017/9/26.
紺家裕子，中谷彰宏ら：paralinguistic 表現を用いた聴覚障害者向け吹き出し型字幕提示方法, 情報処理学会研究報
告 Vol.2013-EC-29 No.4, 2013/8/10.
Jenny Holzer：LEDs,
https://projects.jennyholzer.com/LEDs, 2019/12.
イチハラヒロコ：イチハラヒロコ展 「愛と笑いの日々。
」,
鎌倉画廊, 2006/3.
Jorge Macchi：Cuerpos Sin Vida,
https://www.jorgemacchi.com/en/works/111/cuerpossin-vida-lifeless-bodies, 2003.
青木俊直：クラスルーム ver.A, Reborn-Art Festival 2019,https://www.reborn-art-fes.jp/artist/toshinaoaoki,2019.
Mark Hansen and Ben Rubin：Listening Post, Listening Post, https://sjmusart.org/exhibition/listening-post,
2002.

いを達成した部分もあった．ただ，吹き出しと文章内容との親和性をさらに向上させつつ，吹き出し全体にも意識が向くように提示時間や文章の長さを調整する必要があると考えた．

9. まとめと今後の展望
本研究では，ツイートを使用した新たなアート作品を実装した．この作品により，情報の不確かさを実感させつつ，人が発した言葉であることを実感させることを目指し，被験者の評価からは人が発した言葉である実感を得た結果が得られた．また，被験者と関わり合いのないツイートを表示していることに対しても，面白い，楽しい，新鮮などの意見を得ることができたが，表示方法は改善の余地があるとの意見を得られた．
今後は，鑑賞者に今以上に読みたいと思わせるために，表示する文字数の上限を設けつつ，文章内容と吹き出しとの組み合わせの親和性を上げることが必要である．また，現状のシステムは鑑賞者 1 人に対してのみ吹き出しを表示しているため，複数人に対応するシステムとしていきたい．
それにより，他者への言葉と自分への言葉とを比較することができるようになり，多くのつぶやきがあることを実感できるのではないかと考える．
参考文献
[1]
[2]

[3]

[4]

exonemo：I randomly love you / hate you，
http://exonemo.com/works/lovehate/，2018.
山之上卓, 吉村圭一郎ら：Twitter と連携した着る電光掲示板, 情報処理学会研究報告 Vol.2015-IOT-28 No.11,2015/3/5.
William Ryan，William R. Hazlewood，Kevin Makice：
Twitterspace: A Co-developed Display using Twitterto Enhance Community Awareness, Proceedings of theTenth Anniversary Conference on Participatory Design
pp.230-233, 2008.
鼻崎将，古森光ら：歩行連動画像と後退背景画像の相対速度を用いた移動広告の提案, 情報処理学会研究報告
Vol.2015-HCI-161 No.4, 2015/1/14.

© 2020 Information Processing Society of Japan973