情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B37
2018/3/5

瞬きする肖像画の試作とさりげない情報提示への展開
樺澤まどか†1

油井俊哉†1

西村幸泰†1 橋田朋子†1

概要：肖像画に生命感を持たせる技術が近年提案されつつある．しかしその多くは特別な技術を要するため肖像画が本来持っていた紙の特徴である安価に作成・複製・加工ができ，自由な場所に動かしやすいといった点は失われてしまう．そこで本研究では肖像画が紙に描かれているという利点を活かした安価かつシンプルな装置で肖像画の目を動かすことによって生命感を与える仕組みの実現を目指す．また，目を動かすことで肖像画が何かを伝えたがっている様子を表せると考え，その一例として肖像画が瞬きするというさりげない形で表現することで目に見えない情報を伝えるアプリケーションを考案した．最後にその評価実験と結果について報告する．

Prototype of Blinking Portrait andExpansion towards Casual Information Presentation
MADOKA KABASAWA†1 TOSHIYA YUI†1YUKIHIRO NISHIMURA†1TOMOKO HASHIDA†1
Abstract: Technologies for giving a sense of life to portraits are currently being proposed. Many of them, however, require special
techniques and result in the loss of features that the portraits originally had. Therefore, in this research we aim to realize amechanism for giving a sense of life by moving the eyes of portraits with cheap and simple equipment that takes advantage ofportraits on paper. The authors thought that by moving the eyes they can express portraits that want to convey emotion. Theydevised an application through which portraits can convey invisible information by blinking and report the results.

1. はじめに肖像画を裏に重ね，裏の肖像画をサーボモータで上下に動かすことでまぶたを開閉させる手法を提案する．また「目肖像画のような人物が描かれた静止画をみると，本来止は口ほどにものを言う」という諺もあるように，この肖像まっているはずなのにふとした瞬間に絵が動き出すような，画の目を動かすことで，肖像画が何かを伝えたがっている

そこに描かれた人物が生きているような不思議な感覚に陥様子を表せるのではと筆者らは考えた．そこで本稿ではそることがある．肖像画には単なる静止画を超えた生き物らの一例として肖像画が置かれた室内の目に見えない情報を，しさやそれに伴う感情を想起させる何かがある．最近では肖像画が瞬きするというさりげない形で表現することで伝このような肖像画の不思議さに着目し，さらに肖像画がよえるアプリケーションを考案し，実験した結果についてもり生きているように感じさせる技術も提案されつつある

報告する．

[1][2][3]．しかしその多くはプロジェクタを用いてもとの静止画に動きや表情の変化を加える動的情報を投影するため，肖像画が本来持っていた紙の特徴である安価に作成・

2. 関連研究

複製・加工ができて空間内の自由な場所に動かしやすいと2.1

いった点は失われてしまう．

絵画を動かす研究・作品

絵画を動かす試みは多くなされている．映像作品としてそこで本研究では，肖像画が紙に描かれているという利は 古 典 絵 画 を CG 化 し て 動 き を 与 え る Rino Stefano

点をいかした安価かつシンプルな装置で肖像画により生命Tagliafierro 氏の「Beauty」が代表的である[1]．本研究は感を与える仕組みの実現を目指す．そのために筆者らが着絵画を本来の形と近い紙媒体のまま用いている点でこの作目したのは目の動きの表現である．瞬きに代表される目の品と異なる．また，河邉らはプロジェクタで動的情報を投動きはただそれだけでも生き物らしさを想起させるため，影することで静止画像を錯覚的に動いて見せる光投影技術

モノを擬人化するアイコンとして映像表現の中で描かれる「変幻灯」を開発した[2]．Arnaud Pottier らは，プロジェことや，実世界においてモノに生き物らしさを付与する仕クションマッピングを用いてギリシャ彫刻の表情を制御す組みとして使われることも多い[4][5]．本研究では，目の部る作品「GOLEM」を制作した[3]．これらは映像を投影す分をくり抜いた肖像画を表に，目の部分のみプリントしたるため実装環境の明るさや広さに制限がある．本研究は実†1 早稲田大学
Waseda University© 2018 Information Processing Society of Japan1010

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

装環境に依存していない点でこれらと異なる．
2.2

3B37
2018/3/5

3.1 要件
肖像画のまぶたの開閉制御にあたり，本研究で求められ目を付与し物体に生き物らしさを与える作品

目を模したデバイスを物体に付与することで，生き物らしさを与える作品は多く存在する．クワクボリョウタ氏のる要件として，下記の 2 つを定義した．
1.

作品「ニコダマ」[4]は目玉の形を模したガジェット・トイであり，2 つのデバイスを並べると瞬きを始め，物につけることで，その物に生き物らしさを与える．neurowear が開絵画の特徴である表面の平面性・紙媒体としての素材感を損ねない

2.

安価に作成・複製・加工ができ環境に制限されない機構を有する

発した「mononome」[5]は，目の形をしたデバイスで，家具まず，要件 1 を満たすために肖像画そのままを加工して等に装着しモノを動かすと表情が変わる．これを用いるこ使用する仕組みを考える．目の部分をくり抜いた肖像画をとで，モノと人の関係を豊かにすること，人に習慣の気づ表に，目の部分のみプリントした肖像画を裏に重ね，裏のきを与え生活の質の向上を促進することを目的としている．

肖像画をサーボモータで上下に動かすことでまぶたの開閉

これらの研究は生き物らしさを与えるために既存の物に目を実現させる．次に，要件 2 を満たすために駆動部にサーを付与していることから元の環境に溶け込まず逆に目立つボモータのみを用いることで容易に制御できる小型な機構存在となる．本研究は，もともと生き物らしさを有する肖を考える．以上の具体的な内容は次項に述べる．

像画を媒体として用いるため，自然と環境に溶け込む点で3.2 システム実装

これらと異なる．
2.3

ここでは本システムの実装方法について述べる．本シス

さりげない情報提示を目的とした研究

テムはプリントされた肖像画，サーボモータ（双葉電子工

さりげない情報提示をし，人に気付きを与えることを目業，GWS SERVO Micro 2BBMG），Arduino UNO，スライド的とした研究は数多くある。家庭内の消費電力，翌日の天リンク機構で構成される．肖像画のまぶたを開閉する機構

気，ネットワークの使用量を，数値でなく LED の色相，明は肖像画を 2 枚重ね裏から重ねた肖像画をサーボモータで度，彩度によって可視化し人が作業を中断することなく情上下に動かすことで実現させる．まず肖像画をプリントし報を得るための手法を宮崎らは提案し，光は視界全体で認た紙を 2 枚用意する．一方は目の部分をくり抜き表側に向識でき場に溶け込んでいるため，人に意識を向けさせるこ

け，もう一方は目の周辺を切り取り表から見た時に違和感となくさりげない情報伝達をする媒体に適していると指摘がない位置に裏から重ねる．黒目が見えなくなる位置までしている[6]．安念らは，降水確率が高ければ傘立てが高い

裏から重ねた肖像画を下に動かすと，裏側の絵のまぶた部位置に移動する，トイレットペーパーの残量が少なくなる分が見えることで目を閉じたように見え，元の位置に戻すほど照明が青くなる等，様々な家具を制御することで情報と目を開いたように見える．これを繰り返すことでまぶたをさりげなく提示し人に気づきを与え行動を誘発する手法が開閉しているように見せることができる（図 2）．裏からを提案している[7]．これらの研究は，デバイスがそれぞれ重ねている肖像画は，スライドリンク機構を用いることで何に対応した情報を伝えているのかを人が認識していなけ上下運動を実現させている（図 3）．スライドリンク機構にればならない．本研究では生命感をもつ肖像画を媒体としおける円運動の部分にはサーボモータを使用している．まて用い，人間らしい表情で情報を伝えるため，何を表現した，サーボモータを制御するマイコンとして，Arduino UNOているのかが直感的に理解しやすい点でこれらと異なる．

を用いている．

3. 提案手法
本研究では肖像画の人物のまぶたの開閉を制御することで，瞬きしている様子や眠っている様子を表現する（図1）． これにより，肖像画が何かを伝えたがっている様子を(a)正面から見た図(b)

斜めから見た図演出することを企図する．

図 1

図 2
肖像画がまぶたを閉じる様子

Figure 1

A portrait closes the eyelids© 2018 Information Processing Society of Japan

Figure 2

平面性を保ちまぶたを開閉する仕組み

Mechanism to open and close the eyelids keeping theflatness of the picture1011

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 3

3B37
2018/3/5(a)会議室の様子

スライドリンク機構

Figure 3

Slide link mechanism

図 5

Figure 5(a)モナ・リザ
図 4Conference room using this application(b)自画像(a)談笑中の様子

肖像画がまぶたを閉じる様子（動作確認）

Figure 4(b)肖像画拡大図

本アプリケーションを使用した会議室の様子

Portraits closes eyelids (operation check)

図 6(b)肖像画拡大図

本アプリケーションを使用した室内での談笑の様子
Figure 6

Chat using an application

3.3 動作確認本システムの動作確認を複数の肖像画を用いて行った実現した．なお，温度・湿度センサは AOSONG 社の DHT11，（図 4）．目が極端に小さく描かれていない肖像画であれば照度センサは Macron International Group 社の Cds セル 5mm

瞬きしている様子を表現することが可能である．

タイプ，CO2 濃度センサは Waveshare 社の MQ-135 を用いた．アプリケーションの使用の様子を図 5 に示す.参加者

4. アプリケーション
著者らは肖像画が瞬きによって人々にさりげなく伝えは肖像画が眠っていることに気付き，室内環境が良好でないと知ることができる．
4.2

コミュニケーションの状況をさりげなく伝えるることに適した情報を様々に検討している．本稿では代表本アプリケーションは，肖像画が置かれた室内にいる的な情報として肖像画が置かれた室内の環境情報とコミュ

人々のコミュニケーションの状況として，その場の会話のニケーションの状態を取り上げる．これらをさりげなく伝盛り上がりや仲の良さを検出し，肖像画がその状況に共感えるアプリケーションについて提案・実装状況をまとめる．

するようなまぶたの表現をする．具体的には，会話の盛り

4.1

室内の環境情報をさりげなく伝える室内環境を構成するパラメータ（温度，湿度，照度，CO2濃度）は建築物環境衛生管理基準および JIS 照明基準総則

上がりやその場の人たちの仲の良さは，顔認識による笑顔の量や音声の dB 値の検出から推定し，肖像画にはウィンクのような表現をさせる．現在はウィンクの表現を実現によって適切な値が定められている[8][9]．（参考のため付し，会話の盛り上がりや仲の良さに関しては主に音声情報

録にこの値をまとめる．）この値から外れた場合人々は眠気から推定するところまで検討している．アプリケーションを感じる，不快感を覚える等，様々な影響を受けることが使用のイメージを図 6 に示す.

知られている[10][11]．そこで，本アプリケーションでは各パラメータに対応したセンサを用いて数値をセンシングし，それぞれが閾値を超えた結果人体に影響を及ぼすことを，5. 実験

肖像画のまぶたの開閉動作を用いて直感的に知らせる．具本システムを用いた肖像画による室内環境の情報提示

体的には，温度・CO2 濃度・照度は眠気に，湿度はドライ

手法がさりげなく情報を提示するのに有効か，またそれにアイなどにマッピングできると考え，閾値を超えたパラメ

より人々が直感的に情報を理解し行動を起こしやすくなるータが眠気を誘発する要因となるのであれば肖像画が目をかを検討する．具体的には，会議室でのフリートーク中に閉じてしまう，ドライアイの要因となるのであれば瞬きが環境情報を変化させ，提案手法を含む 3 種類の提示方法で速くなる等，人間の表情を大げさに再現する瞬きの表現を変化を知らせた際に，人が気付くか，行動を起こすかを主© 2018 Information Processing Society of Japan1012

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

3B37
2018/3/5

観評価と行動分析で明らかにする. なお，今回は代表的な
5

室内環境情報として，値変更の制御がしやすく，かつ人が適正値にするための行動が分かりやすいものとして，温度4

評価平均値を用いる．
実験方法

5.1

被験者
20 代の男女の合計 23 名である．23 名を 5 つのグループに分けた．内訳は構成員が 5 名のグループが 3 つ，4 名のグループが 2 つである．

3表示なし

2

室温表示
肖像画

10①

実験環境

②③

質問

実験は会議室で行われ、快適室温として規定される範囲の最大値である 28℃[8]でスタートし，5 分間で 1℃～2℃室

図 7

温を上昇させ，不快な環境を作った．

アンケート回答結果

Figure 7

Results of questionnaire answer

表 1

実験中の特徴的な発言内容

実験条件
環境情報提示の仕方を要因として，室温の提示がない（表示なし）， 数値での室温の提示がある（室温表示），本Table 1システムを用いた室温の提示がある（肖像画）の 3 つの水条件

Specific remark contents during the experiment準を設けた．室温表示条件では，PC のディスプレイ上に室温の提示をし，肖像画条件では肖像画が一定間隔で瞬きし，表示なし

被験者の発言

なんか暑くなってきてない？



会話が盛り上がってるから

室温が 29℃を超えた時に目を閉じた状態で静止する設定

暑く感じるのかな？にした．これは暑くて睡魔に襲われ寝てしまう状態を表現

室温表示した.
手続き
被験者はグループで「会議室でラフな話し合い」を想定したフリートークを 5 分行うように教示された．室温が快肖像画

適でないと感じた場合には自由に調整（暖房の温度を調整，



29℃になってるから暖房の温度下げよう

絵画が寝てる，起きてー！



絵が寝てるってことは暑くなってきてるのかな？



暖房温度下げたのに全然起きな窓やドアを開ける等）して良いこと，室内の快適温度はいね，もっと温度下げた方がい

17℃～28℃に定められており，肖像画は 29℃を超えると寝いのかな？てしまうことを事前に伝えた．5 分間のフリートークを 1セットとして，3 種類の環境情報提示をするため 3 セット標準誤差を表す．質問①の評価は実験条件において交互作のフリートークセッションを行ってもらった．セッション用が認められた．
（F(2，44)=6.53，**p<.01）．下位検定から，間には 3 分間の休憩を行う．グループごとに環境情報提示

質問①における表示なし条件とその他 2 つの条件の間に有の 3 条件はランダムな順番にしている.

意な差が認められた．室温表示条件と肖像画条件の間にはな お ， 実 験 の 様 子 は SONY の HANDYCAM 9.2

有意な差は見られなかった．

MEGAPIXELS を用いて記録した．

次に，実験中の被験者を観察した結果としてそれぞれの条

評価手法

件下で室温についての話題が出た場合の特徴的な発言をま

5 段階のリッカート尺度を用いたアンケートを行った.
質問項目を下記にあげる．
①室温が上がったことに気が付きましたか

とめたものを表 1 に示す．
5.3

考察

アンケート結果から肖像画による室温の提示は数値に②途中で室温が快適でなくなったと感じましたか

よる室温の提示と同程度に情報提示としての役割を果たし③何か行動を起こしたくなりましたかていることが確認できた．また，表 1 から数値での室温提質問紙に加え，実験中の被験者の様子を観察し特徴的な発示においては数値を見て室温が高いことを理解し行動を起言についてもまとめる.

こしており，肖像画による室温の提示においては，肖像画5.2

実験結果を生き物のように扱っていることが行動の動機となってい被験者のアンケート回答結果・実験中の観察結果のうち，ることが分かる．このことから本来の目的である肖像画のまずアンケート回答結果を示す．アンケートの得点に関し目の動きによって生命感を出すことで，目に見えない情報て，環境情報提示と質問を要因とする 2 要因の被験者内分をさりげなく伝え，人への影響を直感的に理解させること散分析を行った．結果を図 7 に示す．図中のエラーバーは© 2018 Information Processing Society of Japan1013

情報処理学会 インタラクション 2018
IPSJ Interaction 2018ができたと示唆される．
また，今回の実験で実験開始時の室温が 28℃と，もともと高く暑かったこと，温度を数値として見ることに被験者がなじみ深いことから，今回は数値での室温提示が容易に行動を誘発する結果となった．しかし，体感として変化が分かりにくくあまり数値として見ることになじみのないパラメータ（CO2 濃度や照度）であれば，数値を見ただけでは行動を起こしにくいと予想でき，そのような状況下であれば本システムがより有効であると考えられる．

6. まとめと今後の展望
本研究では，肖像画の目を動かすことで生命感を与える仕組みを提案し，アプリケーションとして，肖像画の瞬きを用いてさりげない情報提示を行う手法を述べた．情報の3B37
2018/3/5

http://neurowear.com/projects_detail/mononome.html(参照 201712-19)[6] 宮崎良貴, 中村喜宏他. LED を用いたアンビエントな情報提示方法の検討. 情報処理学会第 77 回全国大会講演論文集,
Vol. 2015, No.1, pp283-284.
[7] 安念克洋, 山本剛他. さりげない役立ち情報の提示による居住者とのアット・ホームなインタラクション. 2004 年度人工知能学会全国大会(第 18 回)論文集, 2004, 2E1-01.
[8] “厚生労働省 建築物環境衛生管理基準について”
http://www.mhlw.go.jp/bunya/kenkou/seikatsu-eisei10/(参照2017-12-19)[9] “日本工業標準調査会”
http://www.jisc.go.jp/app/jis/general/GnrJISNumberNameSearchLi
st?toGnrJISStandardDetailList(参照 2017-12-19)[10] “Berkeley Lab, Elevated Indoor Carbon Dioxide Impairs DesignMaking Performance”
http://newscenter.lbl.gov/2012/10/17/elevated-indoor-carbondioxide-impairs-decision-making-performance/(参照 2017-12-20)[11] “株式会社クレセル 快適温度湿度・FAQ”
http://www.crecer.jp/Q-A/HTML/A-11.html#(参照 2017-12-20)

代表として肖像画が置かれた室内の環境情報とコミュニケーションの状態を取り上げた．また，室内の環境情報を提付録示するアプリケーションとしての有効性を，温度変化を用

付録 A.1

いた実験において検証した．

室内環境基準値
入力

基準値

る数値での情報提示がある場合，本システムを用いた情報

温度

17℃以上 28℃以下

提示がある場合の 3 条件を比較し，本システムを用いた肖

相対湿度40％以上 70％以下

照度

300～750lux

CO2 濃度1000 ppm 以下

実験により，情報の提示がない場合，一般的に用いられ像画による室内環境の情報提示手法がさりげなく情報を提示するのに有効であること，またそれにより人々が肖像画を生き物のように扱うことで行動を起こしやすくなることを実証した．
今後の展望として，実験結果から本システムは室内環境の情報提示において，体感や数値だけでは分かりにくい情報に関してより有効であると考えられるため，その例である CO2 濃度や照度を対象に今後引き続き調査を行う．
また，今回は実験において室内環境の情報提示を目的としたが，今後は本システムが人々のコミュニケーション促進に有効であるかを検証する実験も行っていく．さらにはまぶたの開閉だけでなく目線を制御することも展開として考えていく．
謝辞

本稿は，公益財団法人立石科学技術振興財団 研

究助成 A(課題番号 2171018)による研究成果の一部である．

参考文献
[1]

[2]

[3]
[4]
[5]

“BEAUTY a short video by Rino Stefano Tagliafierro”
http://www.rinostefanotagliafierro.com/beauty_video.html(参照2017-12-19)
河邉隆寛, 澤山正貴他. 静止した 2 次元実対象を運動情報によって錯覚的に変形させる光投影手法. 映像情報メディア学会年次大会講演予稿集, 2014, pp"5-3-1"-"5-3-2".
“BK-DIGITAL ART COMPANY”
http://www.bk-france.com/#/golem-x/-apollo(参照 2017-12-19)“株式会社キューブ”
http://www.cube-works.co.jp/works/index.html(参照 2017-12-19)“neurowear, Mononome”© 2018 Information Processing Society of Japan1014