情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT008
2016/3/3

自律移動・変形する壁型ディスプレイの設計と評価
大山 貴史†1a
浅利 勇佑†1
高嶋 和毅†1
エフド シャーリン†2 ソール グリーンバーグ†2 北村 喜文†1
概要：作業空間におけるディスプレイ形状の重要性に着目し，作業の内容や状況に応じて自律的に移動しその配置を変更することが可能な壁ディスプレイ（自律変形壁ディスプレイ）について検討する．まず，デザインスタディにより壁ディスプレイの利用形態を調査し，その結果に基づいて自律変形壁ディスプレイと変形操作のためのインタフェースを検討する．デザインスタディの結果，作業場面に応じてユーザは平面以外の様々なディスプレイ形状を求める
ことが分かり，自律変形壁型ディスプレイの設計にあたっての基本的な形や変形方法の指針を構築することができた．また，その指針に基づき，様々なユーザの要求やコンテキスト（ユーザの意図，表示コンテンツ，周囲の状況）に応じて自動的に変形し快適な作業空間を提供する自律変形壁ディスプレイおよびそのインタフェースの実装例を示した．

A Study of Self-Actuated Dynamic Wall Display
Takafumi Oyama†1 Yusuke Asari†1 Kazuki Takashima†1
Ehud Sharlin†2
Saul Greenberg†2 Yoshifumi Kitamura†1
Abstract: This paper explores a self-actuated shape-changing wall display that can change its shapefor particular dynamic contexts. Firstly, we present a design study that aims to understand user’s
desirable shapes of a wall display for various interaction scenarios. Our result suggests that people
would prefer to use a range of screen shapes rather than a single static flat display arrangement.
Based on this, we design and implement the first prototype of self-actuated dynamic wall display
which can automatically change its physical shape or screen arrangement to support thecollaborative or individual contexts of people’s activities. Finally, we discuss some of potential
interaction scenarios with the dynamic wall display and interaction techniques based on user’s
explicit gesture commands and inferred implicit context from display content and users’ spatial
relations around the display.

1. はじめにていることが多く，マルチスクリーンを利用する際にはカーブなどをつけることはできるものの，多くの場合はフラ作業空間には，PC，スクリーン，ホワイトボード等のットスクリーン（例：会議用の大型モニター）である．こ

多くのディスプレイが存在する．人はこれらを介し，情報

れは，情報共有や大きなコンテンツを扱う場面で有意義での収集・発信・共有といった作業を個人，あるいは他者とあるが，作業形態（一人か複数人か）や内容（共有かプラ共同で行っている．そのため，これらディスプレイの形状

イベートか）によって，求められる作業空間やディスプレ

や配置は，人の行動の促進または抑制などに大きな影響を

イ構成は異なる．したがって，固定された配置のディスプ与えることが知られている．例えば他者と作業する場面にレイだけでは，環境やユーザの動的なタスクの変化に対応

おいて，お互いが一定の距離まで近づくと，人は共有画面できないだけでなく，ユーザの空間的で社会的な行動を阻を求めるようになり（F-formation[16])，その後，共有が害してしまう恐れもある．

終わり再び個人作業に戻ると，人はプライバシーの守られ

例えば，複数の壁面ディスプレイを組み合わせて利用た自分だけのディスプレイを求めるようになる．オフィスする際に，それらの配置を手動で変更して使うことは，や研究室など様々な構成員からなる作業は流動的であり，様々な状況に対応する作業空間をつくるために最も単純な

その場で行う作業や，それに適したディスプレイ環境も常方法である．複数人で利用できる環境で言えば，キャスタに変化していく．

ー付きのスタンドにマウントされた６台のプラズマテレビ

しかし，一般に利用されているディスプレイ，特に大からなる Chained Display[14]などが典型的な研究例であきな壁面型ディスプレイについては形状と位置は固定される．しかし，複数人で共有できるほど大きな画面を持つデ†1 東北大学 電気通信研究所
Research Institute of Electrical Communication, Tohoku University
Engineering†2 University of Calgary, Canada© 2016 Information Processing Society of Japan62

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT008
2016/3/3

ィスプレイに対して，手動で形状を変形させることは手間

テーブル型，直立型，床型，マルチディスプレイ等，様々

であり，効率や負荷の面で現実的ではない．

な形態のものが日常的に利用され，その操作法も，キーボ

そこで他の可能性として考えられるのが，ディスプレードやマウス等の外部機器を用いたものや，タッチやジェイ自体に自律的に移動・変形する能力を持たせる方法であスチャ等の身体的なものなど，ディスプレイ環境に合わせる．例えば，小さなディスプレイを組み合わせることで，て選択される．ディスプレイ環境が作業空間に与える影響

コンテンツに応じた様々なデバイスの変形を実現しているは大きく，これまで数多くの研究が行われてきた．例えば例がある[1, 22]．また，ロボットアームを取り付けること

Ardito ら[2]は，近年普及が進んでいる大型ディスプレイにで，映し出されるコンテンツやユーザのインタラクション

ついて，形状やインタラクション方法など，複数の角度かに応じてよりダイナミックな変形を実現するディスプレイ

らの分類と考察を行っている．ある特定のディスプレイ環

も，すでに開発されている[3, 23]．ただし，これらの目的

境について詳細な考察を行った研究も多く，E-conic[18]では作業空間の改善ではなく，あくまでもエンタテインメン

はマルチディスプレイ環境での画面の傾きによる影響につトである．これらに対し我々は，TransformTable[25]といて，Endert ら[4]はディスプレイ環境が湾曲することのいう周囲の状況に応じてテーブルが自律的に変形すること効果について議論している．

ができるデジタルテーブルを検討しており，作業空間の形

また，議論やブレインストーミング等の実際の作業場面を変えることで人々の作業やインタラクションをよりよいを考えると，個人での作業とグループでの作業は混在するものにすることを目指している．しかし，テーブルの水平

こ と が あ る ． こ の よ う な 作 業 場 面 は mixed-focus

面は，複数人にて情報を共有する場面に常に適する訳では

collaboration と呼ばれ，個人画面と共有画面が同時に求なく，多様性のある協調的作業環境を考慮すると，壁面デめられる．そのため，立ち位置に応じて異なったコンテンィスプレイについて検討することも意義がある．

ツの表示が可能であるディスプレイ[13, 15]やミドルウェ

そこで本稿では，作業形態に応じて自動的にその形状と配置の変更が可能な壁型ディスプレイを提案し，その利

ア[6]が研究されてきた．
2.2 ユーザの空間行動に対応するディスプレイ

用シナリオを通して実用可能性について検討する．まず，人は意識的，または無意識的にモノや他者との立ち位ユーザが，どのような形状の壁ディスプレイを欲している置を調整し，コミュニケーションや作業を円滑に進めよう

かを確認するデザインスタディを実施した．実験では，あとする傾向がある（proxemics[9]）．この概念を応用し，

らゆるコンテンツを利用する場面において利用者は平面の人数や立ち位置等の変化をセンサなどから検出し，その場

ディスプレイを好むのか，そうでないならばどのようなデで必要と推定されるコンテンツを自動的に表示するディスィスプレイ形状が望まれるのか，という 2 つの疑問につプレイが提案されている[17, 28]．例えばユーザがディスいて検討した．その結果，実験参加者は与えられたそれぞプレイに近づくと，システムはユーザが興味を持ったと捉れのシナリオ（表示コンテンツや空間配置）に応じて様々

え，より詳細な画面を表示する．また複数人でディスプレなディスプレイ配置を行うこと，設計された形状には，平イを利用する場合には，グループで共通の情報を自動的に面，分離型，凹型，凸型，L 型などのパターンが存在する

表示する．

ことが分かった． 我々はこの結果に基づき，自律移動・

このような心理学の概念を用いたインタフェースの開発

変形可能な壁型ディスプレイ（自律変形壁ディスプレイ）

は，近年盛んに研究されている．例えば F-formation と呼のプロトタイプを実装した．このディスプレイは，部屋をばれる概念は，集団の親密度を他者との距離で予測する．

構成する壁ではなく，3 枚の移動可能な直立スクリーンかMarquardt ら[16]はこの F-formation に基づき集団の関係ら構成され，それぞれの配置を変更することで，ディスプを推測し，タブレットを用いたクロスデバイスインタラク

レイ形状を変更できる．ユーザはシンプルなジェスチャをションに利用している．他にも，マルチディスプレイ環境

用いて好みの変形を行うことができ，また，表示されるコにおける表示コンテンツの歪みについての研究[18]や，壁ンテンツや空間配置をシステム自体が認識することで，自な ど の 一 般 的 な 平 面 へ の 投 影 [20] を 行 う 際 に も F-

律的に変形することも可能である．これにより，自律変形

formation は利用され，変化する状況に応じて，表示コン

壁ディスプレイは様々な動的なコンテキストに対応し，常テンツを変化させている．

に最適なディスプレイ環境を提供できると期待される．

2. 関連研究2.1 様々なディスプレイ環境
ディスプレイは単に情報を表示するだけではなく，ユー
ザとの，あるいはユーザ同士のインタラクションを引き起

我々が本稿で提案する自律変形壁ディスプレイも，空間的な配置や作業内容などの状況に応じて最適なインタフェースを実現することができるが，表示コンテンツの変化ではなく物理的なディスプレイの表面形状そのものを変化させる．このような物理的な変化はより直感的で，ユーザに大きな影響を与えると考えられる．

こす一種のコミュニケーションツールという側面もある．

© 2016 Information Processing Society of Japan63

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT008
2016/3/3

2.3 手動変形型ディスプレイ
いくつかの研究では，ディスプレイ形状を手動で変更することの意義を主張している．ConnecTable[27]は車輪のついた台座の上に設置された水平ディスプレイで，2 人のユーザが ConnecTable を連結させると，協同作業がしやす
い よ う に イ ン タ フ ェ ー ス が 変 化 す る ． ま た Chaineda) Large mapb) Private/sensitive
credit card
informationc) Immersive video
gamed) 3 multi-task
windows: mail,browser, map.

e) 3D
volumetricmodel viewerf) Wide 16:9 film

Display[14]は，より物理的な形状変化について論じた研究である．連結された 6 枚の直立のプラズマディスプレイを
公共空間に置き，その形状変化による影響を調べたものである．平面型，柱型，凹型などいくつかの配置が試され，実際にユーザのインタラクションが変化することが確かめられた．だが，ユーザが自ら変形させることについては述
べられていない．
これらの研究はディスプレイの変形の有用性を論じているが，本研究ではさらにそれを発展させ，ディスプレイの図 1. 利用した 6 つのコンテンツ

自律的な移動と変形による作業空間のカスタマイズを検討している．
2.4 ロボティックディスプレイ
自動で変形できるディスプレイの研究はいくつか行われてきた[1, 22]．例えば Tilt displays[1]では，コンテンツの内容を物理的に表現するための方法として，9 枚の小型
ディスプレイからなる変形ディスプレイを用いている．しかしこれらはモバイル機器程度の大きさであり，複数人な

a) Individual,nearb) Individual,
farc) Group,neard) Group,far

図 2. 想定した 4 つの空間配置

ど の 作 業 空 間 を 想 定 し た も の で は な い ．
TransformTable[25]は周囲の状況やコンテンツに応じてそのテーブル面の形状が変化するデジタルテーブルである．

もし，1 つ目の疑問において平面以外の形状が好まれる

このように作業空間に直接的に影響を与える大型の変形デとすれば，作業場面により異なったディスプレイ形状が必ィスプレイはほとんど検討されていない．

要であることが明確になり，変形壁ディスプレイの意義が移動可能なロボティックディスプレイも研究されている．

高まる．また，2 つ目の疑問について詳細に検討し，場面遠隔地同士のコミュニケーションロボットとして用いられごとに適切な形状を明らかにできれば，場面を検出したのることが多いが[5]，最近我々は自律移動が可能な複数のデちに自律的に変形する壁ディスプレイの可能性も出てくる．

ジタルテーブル MovemenTable[26]を開発し，物理的な作

3.1 実験方法

業空間のデザインや再構成の方法について検討している．

ここでは，ディスプレイをどれくらいの距離から何人でまた，エンタテインメント向けのロボティックディスプレ

利用するのか，コンテンツは何か，といった複数の異なっイも開発されている [3, 23]．これらの動きは美しく，変形た場面（以降，シナリオと呼ぶ）を用意した．デザインス

可能なディスプレイの可能性が感じられるが，アート作品

タディの参加者は提案システムの知識を持たない 16 名であり，作業空間の再構成に向いたものではない．

3. デザインスタディ
我々はまず，デザインスタディを実施し，壁ディスプレ
イの利用形態を調査することから始めた．これは，まずはユーザの壁ディスプレイの利用を観察し理解する必要があったことと，変形壁ディスプレイを設計するにあたっての
基本的な 2 つの疑問について検討するためである．


様々なコンテンツを利用する場面において，利用者は常に平面的なディスプレイを好むのか

そうでないならば，どのような形状がどのような場

a) 初期配置b) デザイン中の様子

図 3. デザインスタディの様子面に適しているのか．

© 2016 Information Processing Society of Japan64

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

Concave – Wide

16INT008
2016/3/3

Flat

Convex加者（図 3(a)奥側）にはシ
ナリオに応じたコンテンツ

9.6 %Concave – Narrow

が奥の大型スクリーンに提19.5 %

Separation

5.0 %
25.0
% Offset示される．ここで，実際に利用を想定している 3 枚のス
クリーンに直接コンテンツ

17.7 %
Separated concave –
Wide

7.0 %
Separated concave –Narrow

9.9 %

5.5 %
44.2
% L-Shape

1.0 %Zigzagを提示しなかったのは，参加者に対してプロジェクシ
ョンによる利用だという固7.0 %Separated
L-Shape13.3 %

1.8 %20.3% Others

2.6 %定観念を植え付けないためと，特定のコンテンツの細部（フォント等含む）に特化
したデザインを防ぐためである．実験参加者の創造性に基づくデザインの観察に

図 4．得られたディスプレイ形状も興味があった．次に実験の大学生（男性 11 名，女性 5 名，平均年齢 22.9 歳）で，者から，コンテンツに関する補足説明と，空間配置に関す

一人ずつ行われた．参加者の前には，ディスプレイとしてる条件が指示される．図 2(c, d)のようなグループワークを利用することを想定した車輪付きの直立スクリーン(150 x

想定したシナリオの場合，協同作業者として演者（図 3(a)80 cm)が 3 枚置かれ，それらは簡単に手で，個別に位置や手前側）が配置される．このとき演者は無言で何も行動し向きを変えることができる．

ないが，参加者はこの演者とともに作業している場面を想シナリオは全部で 24 通りあり，それらは 6 つのコンテ

像し，ディスプレイの形状をデザインすることを求められ

ンツと 4 つの空間配置から成る（24 試行= 6 x 4）．参加者

る．1 つのシナリオにつき制限時間は 2 分間で，参加者はは，それぞれの試行が始まる前に想定シナリオについてのその間自由に，ただしスクリーン 3 枚全てを用いてディス説明を受け，そのシナリオに対して適切だと感じるディス

プレイ形状をデザインする．この時，初期配置の平面のまプレイ形状をデザインすることを求められた．図 1 には，までも構わないことも指示されている．この間，ビデオカ

今回用いたコンテンツを示している．壁面ディスプレイにメ ラ (SONY HDR-CX630) と 赤 外 線 セ ン サ (OptiTrack

限らず，直立型ディスプレイでの利用が想定される典型的

Flex3)によって，スクリーンと参加者，演者の位置と方向

な 6 つを選んだ．次にこのコンテンツそれぞれに対し，図を記録した(図 3(b))．デザインが終わると，参加者は形状2 に示した 4 つの空間配置を想定した．(a)と(b)は個人作についての理由を説明し，その情報を我々が IC レコーダ

業，(c)と(d)はグループワークを想定しており，加えてそれーを用いて記録した．

ぞれに，近く・遠くというディスプレイとの距離を設定した．

以上の手順を，24 すべてのシナリオについて行った．次のシナリオへと移る際は，実験者が必ずスクリーンの並び

実際にこのような壁ディスプレイを利用する際は，他にを平面に戻した．また，シナリオを提示する順番は，カウも多くの要因があることは確かである．例えば，ディスプ

ンターバランスを考慮して参加者ごとに変えている．

レイを立って利用するのか座って利用するのか，入力デバ

3.2 実験結果と考察

イスは何を用いるのか，グループの親しさはどの程度か，得られたディスプレイ形状

等によって利用形態は異なるはずである．これらの要因を

デザインスタディにより，合わせて 384（24 シナリオ×

シナリオに含めることは可能であったが，今回はより基本

16 人）の様々なディスプレイ形状が得られた．まず我々は的な利用形態を調べたいため，作業内容と空間配置というこれらを，配置や角度など，ディスプレイ形状の特徴ごと

2 つに絞って考えることとした．細かな状況設定は，実験に分類した．分類にはスタディの様子を録画したビデオ，

参加者に自由に想像させた．

赤外線センサによって得られた座標データを用い，参加者

また，スクリーンの構成を 3 枚としたのは，3 枚で基本のデザインについてのコメントも考慮に入れた．

的かつ重要な形状がデザインできると考えたためである．

分類の結果を図 4 に示す．ここから読み取れるように，

2 枚では設計できる形状に限りがあり，4 枚ではディスプ

実験参加者が設計したディスプレイの形状は多岐に渡るもレイが大きくなり過ぎかつ結果が複雑になってしまうと考のの，いくつかの主要パターンが存在した．最も多かった

えた．

のは両端が手前に傾いた凹型で，全体の約 44%を占めてい

実際の実験の様子の一部を図 3 に示す．まず初めに，参© 2016 Information Processing Society of Japanる．角度にはばらつきがあり，それぞれの角度の大きさに65

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT008
2016/3/3

3 枚だと操作範囲が広すぎる，かつ視表１．シナリオごとのディスプレイ形状
Individual – Near
Top 1

Large
Map

Flat

Individual – FarGroup – Near

Group - Far

Top 1

Top 1

Top 1

Flat

Flat

Flat

界に入らなくなるという意見が大半であった．また，個人(Individual)とグループ(Group)では結果に大きな違い

31.25%

6.25%

56.25%

31.25%

56.25%

12.5%

31.25%

37.5%

は無かったが，ディスプレイとの距離が遠くなった場合(Far)，平面が選ばれPrivate/Sensitive
View
Immersive
Gameる割合が高くなった．これも視界の影
50%

0%

37.5%

12.5%

25%

6.25%

25%

12.5%

響だと考えられる．
Private/sensitive View


50%

6.25%

25%

25%

50%

50%

6.25%

このコンテンツではクレジットカ

12.5%

ード番号の入力を行う場面が想定さ
Multitask
Windows

れていた．表 1 に示すように，ディス
62.5%

0%

25%

6.25%

31.25%

50%

6.25%

0%

プレイとの距離によらず，個人作業の場合には凹型が多い．これは周囲の目

16:9 Film

43.75%

31.25%

18.75%

68.75%

37.5%

62.5%

18.75%

からプライバシーを守る為であり，左右の壁は物理的なシールドとして用

3D Model31.25%

12.5%

18.75%

43.75%

25%

18.75%

18.75%

いるという意見が多かった．一方グル
31.25%

ープの場合は，特定の形状が多く選ば応じた目的が設定されていることがインタビューの結果かれるということは無かった．グループ作業中にプライベーら推測されたため，45 度より小さいものは Wide，より大トな画面を表示するという場面は日常生活では少ないが，きいものは Narrow と分類した．また，各スクリーンがプライバシーを守るため，ジグザグ型や 1 枚だけ別方向を10cm 以上離れたものは Separated 型として分類した．凹向いた形状など，協同作業者の目を遮るための様々な工夫

型の次に多かったのは，平面型で約 25%，続いて L 型で約が見られた．

20%であり，これらについても同様の基準で Separated 型

を分類した．他にも，凸型やジグザグ型など，特徴的な形状が見られた．

Immersive Game
ほとんどの参加者はゲーム画面に没入感や臨場感を求めており，ゲームセンターやデュアルディスプレイのイメー

これらの結果より，冒頭で設定した課題について考察す

ジから凹型が最も多いという結果になった．またディスプ

る．まず，どのような状況でも常に平面が好まれるのか，

レイの角度は利用する距離と関係があり，離れるとより平という項目について，今回の結果においては，一般的な平面に近づく傾向が見られた．

面ディスプレイ配置が行われた試行は全体の約 20%しか

Multi-task Windows

占めておらず，平面以外の形状が積極的に選ばれていた．

どの状況においても，凹型かつ分離した形状が選ばれる

そのため，状況に応じてディスプレイが変形することの有ことが多かった．この理由としては，物理的なギャップに用性は大きいと考えられる．

よって作業の分離がより明確になり使いやすいという意見

一方で，ある特定のシナリオで求められる形状について
は，シナリオと形状との関係についてより詳細に分析するがほとんどで，凹型であることよりも分離されていることの方が重要なようであった．

必要があるため，我々は次の段階として，シナリオごとのまた数は多くは無かったが，Group-Near において，何分類を行い，シナリオと形状の関係について考察した．

人かが凸型のディスプレイをデザインした．これは空間をシナリオとディスプレイ形状

分断し，グループにおいても個人スペースを確保するため

表 1 はシナリオごとに，最も選ばれた形状とその割合をの工夫である．左右の画面で個人作業を，中央の画面で情示したものである．比較の為，一般的な平面が選ばれた割報を共有するという意見が見られた．

合も示してある．この表と参加者のコメントをもとに，以

下でコンテンツごとの考察を行う．
Large Map

Wide 16:9 Film
ゲームと同様，参加者は映画に臨場感を求めており，凹型が好まれやすい傾向となった．だが映画は平面で観たい・

地図のような大きなアプリケーションを扱う場合，L 型

観るものだという意見も多く，ディスプレイから離れた場が選ばれることが最も多かった．参加者のコメントによる面では，平面が選ばれることが最も多かった．表 1 のと，彼らの多くは 2 枚に地図を表示し，もう 1 枚で別な画Group-Far において空欄があるのは，平面以外の意見が極面（ストリートビューや乗り換え情報など）を扱うことを端に少なかったためである．

考えていた．理由としては，実際に画面を操作する場合，© 2016 Information Processing Society of Japan66

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

Projector
Kinect

16INT008
2016/3/3

Markers
61 cm

Tracking cameras
Markers

150 cmProjection mapped to thescreen shape

3 Screenswith 3 robots

Three Roomba creates

図 5．プロトタイプ


3D Model

図 6．基本形状
り，後者は，システムが主体となって，検出可能なコンテ

立体的な情報は平面で広く扱いたいという意見と，ディキスト（デザインスタディでも用いた情報）に応じて常にスプレイを傾けた方が見やすいという意見に二分される結最適なディスプレイ環境を提供するシステムになる．両者果となった．ある特定の形状が選ばれやすいということはを同時に使うことも可能であるが，本研究ではそれぞれ分無かった．

けてその可能性を述べる．

以上がコンテンツごとの考察である．同じコンテンツでも作業の場面が異なれば，選ばれるディスプレイ形状も異4.1 デザインと実装
自律変形壁ディスプレイ（図 5）は 3 枚の直立スクリーなっていた．全体を通じて以下の考察を得た．

ンから構成されている．構成を 3 枚としたのはデザインス

ディスプレイとの距離が近い場合，見やすさや臨場感

タディと同様，3 枚で基本的かつ重要な形状がデザインでを求めて，凹型を選ぶ傾向にある．

きると考えたためである．それぞれのスクリーン(61 x 150

ディスプレイとの距離が遠い場合，より平面的な形状cm)は家庭用掃除ロボットである Roomba の上に固定されを選ぶ傾向にある．

ており，独立して移動可能である．また，スクリーン上部

協同作業者がいる場合，互いに見やすい形状が必要でには赤外線マーカーが取り付けられており，赤外線センサ

あり，場面によっては個人画面が求められる傾向にあ(OptiTrack Flex3)で正確な位置と角度を測定，外部計算機

る．

によるプログラムを用いて動きを制御している．さらに，複数の画面で作業をしている場合，1 枚だけ傾けたり上部に設置された Kinect センサにより，（後述する）ユー（L 型），分離させたりと，物理的な形状変化と対応

ザのジェスチャを用いた制御も可能である．外部計算機とさせる傾向にある．

Roomba の通信部には Bluetooth が，Kinect との通信部に凸型，オフセット型，ジグザグ型は数こそ少なかった

は TCP が用いられている．








ものの，コンテンツによらず登場していた．

コンテンツの表示にはプロジェクタによる投影を用いてということである．

いるが，ディスプレイ形状の変化に伴い歪みが生じるため，

4. 自律変形壁ディスプレイの実装

Homography 変換による補正を行っている．このプログラ

デザインスタディにより，人は状況に応じて，平面以外の様々なディスプレイ形状を求めることが確かめられた．
しかし，既存の壁型ディスプレイや，またはディスプレイ
マウントに設置された大型ディスプレイなどは大きい．広い表示領域を持つため，複数人によって情報を共有しやすい等様々なメリットがあるものの，その大きさ故に通常は手動でその形状を変化させたり移動させたりすることは難しい．そこで我々は，デザインスタディによって得た知見に基づき，自動的に変形することが可能な壁ディスプレイ
を提案し，プロトタイプを実装した．なお，変形を制御するためのインタフェースとしては，ユーザによる能動的なコマンドとしてのジェスチャと，システムが自動的に検出

ムも外部計算機により制御され，マーカーの位置・姿勢から動的な補正が可能である．実装は openFrameworks[19]で行われた．
ユーザは画面上のコンテンツを，ワイヤレスマウスやス
マートフォンで操作することができる．
4.2 基本形状
提案する変形壁ディスプレイでは，各スクリーンを独立に動かすことも出来るが，デザインスタディから得られた知見をもとに，我々はいくつかの重要なディスプレイ形状
を基本形状として登録した（図 6）．システムは簡単にこれ
らの形状に変形できるようになっている．

5. インタラクション方法と利用シナリオ

することが可能なコンテンツ内容や，ディスプレイ周りの人の作業は多様かつ流動的に変化していくため，ディスユーザの空間配置による自律的なアルゴリズムによるもの

プレイの変形方法についても，意図的に変形させたい，作の二種類を検討した．前者は，ユーザ主体で自由に制御す

業場面ごとに使い分けたい等，様々な要求が生じると考えることができるコントローラとしてのインタフェースであられる．そこで我々は，壁ディスプレイが変形する方法と© 2016 Information Processing Society of Japan67

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

Screen selected by grasping

Push

Pull

Left

16INT008
2016/3/3

ExpandExpandCompress

Compress

Right(a)スクリーンの選択と操作(b)凹型と平面，分離型の変形(c)平面と凸型の変形

図 7．ジェスチャによるインタラクション(a)協同作業(b)ジェスチャによる変形(c)個人画面の提供(d)ジェスチャでの指示(e)プライベートな空間

図 8．ジェスチャによる利用シナリオ
して，ユーザの指示による明示的な方法と，場面に応じた暗示的な方法の 2 つを実装した．以下では，それぞれの方

Account and password view

法とその利用シナリオが持つ可能性について検討する．
5.1 ジェスチャによる明示的なインタラクション
ここで言う明示的な方法とは，ユーザが意図的にディスプレイの変形をする方法である．これにはマウスやスマー
トフォン等の入力を用いることも可能だが，我々はジェス(a) Private/sensitive view(b) Wide 16:9 content(c) 3D model data(d) Immersive game

チャを用いた実装を行った．ジェスチャの場合，ディスプ
レイに触れる必要も他のデバイスを用いる必要もなく，直接ディスプレイの位置や角度を変形できるかのようなイン
タラクションが可能である．また周囲の作業者にも，形状変化の意図が明確に伝わる．
図 7 に，ジェスチャによる操作の例を示した．我々は全ての操作に「掴む―動かす―離す」という実世界のメタフ
ァを統一して使い，スクリーンの上方に設置した Kinect により手の動きを検出した．より直感的な操作のため，ジェ

図 9．コンテンツに応じたディスプレイの変形

スチャは両手を広げる，狭める，押す，引くなど単純なも次に図 8 には，実際に想定される利用シナリオの例を示しのにし，変形の結果もジェスチャに呼応するものとした．

た．ここでは 3 人のユーザが 1 枚の大きな平面ディスプレ

例えば図 7(a)では，ユーザは片手を掴むことで 1 枚のス

イを用いて協同作業を行っている（図 8(a)）．もし，協同作

クリーンを選択し，前後の動作で位置を，左右の動作で角業中に個人作業へ移りたいと感じた場合，同図(b)上のよう

度を変更している．同様のジェスチャを両手で行うことにに手を広げるジェスチャを行えば，平面から分離型へと変より，ユーザは 3 枚全てを同時に扱うこともできる．また，

形し，個人のディスプレイが提供される（同図(c)）．逆に同

図 6 に示した基本形状の切り替えも，ジェスチャにより可図(b)下のように手を狭めるジェスチャを行えば，分離型か能である．図 7(b)では，凹型・平面型・分離型の切り替え

ら平面へと戻り，協同作業がすぐに再開できる．同図(d-e)

を，両手を広げる，狭めるジェスチャで行っている．同様

は平面型で個人作業を行っている場面で，もし没入感のあに(c)では，平面型・凸型の切り替えを，両手を押す，引く

る，またはプライベートな空間が欲しいと感じた場合，手というジェスチャで行っている．

を狭めるジェスチャを行えば，すぐに凹型に変形することができる．

© 2016 Information Processing Society of Japan68

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT008
2016/3/3

マーカーによりリアルタイムに取得できる．
まず我々は，アンビエント・ゾー
ンとインタラクション・ゾーンという 2 つの領域を設けた（図 11）．

Tracking marker(a)ユーザの接近(b)個人作業に適した空間(c)協同作業者の接近

これ はデ ザ イン スタ デ ィに おける
Far と Near に対応している．デザ
インスタディにおいて Near の平均
はディスプレイから約 1.2m の位置

Personal Shared Personal
Map calendar
emailであったため，この位置を 2 つのゾーンの境界とした．アンビエント・
ゾーンにユーザがいる場合，ディス
プレイは遠くから眺めるように利(d)共有画面の提供(e)ユーザ間距離の変更(f)凸型への変形

図 10．空間配置によるインタラクションシナリオ

用されることが想定されるため，形状は一般的な平面のままである．イ
ンタラクション・ゾーンにいる場合，

5.2 暗示的なインタラクション
暗示的な方法とは，システムが自律的に状況に応じたデユ ー ザ の 位 置 や 人 数 ， 2 人 以 上 の 場 面 で は F-ィスプレイ形状を選択し，変形する方法である． デザイン

formation[16,17]と呼ばれるお互いの距離関係から，最適

スタディより，人は様々なディスプレイ形状を求めることなディスプレイ形状を予想し変形する．

が確かめられた．指示が無くとも，システムが自動的にこ図 10 に利用シナリオの例を示す．まずインタラクショ

れらの形状に変化することで，ユーザにとってより自然でン・ゾーンに誰もいない場合，通り過ぎる人々からも見やストレスなく，いつでも快適な作業空間が実現出来る．そすいように，ディスプレイは平面となっている（図 11）．

こで我々は，表示コンテンツと周辺の空間配置，という 2

ここで，中央のスクリーンへとユーザが近づきインタラク

つを変形のトリガとして用いた．

ション・ゾーンに入ると（図 10(a)），凹型が個人作業にはコンテンツに応じたディスプレイの変形適しているとシステムが判断し，変形する(b)．これは表 1

我々が実装したシステムは，表示しているアプリケーシ
ョンやファイル形式を認識できる．そのため，コンテンツにおいて，個人作業時には凹型が好まれるという結果に基づいている．

に適したディスプレイ形状に自動で変形可能となっている．

次に(c-f)は，協同作業を行いながらも個人画面が必要と

図 9 にその一例を示す．例えばパスワードの入力画面のな る 状 況 の 利 用 シ ナ リ オ で あ る ． こ れ は mixed-focus

ようなプライベートな画面が表示された場合，周囲の目をcollaboration[8]と呼ばれ，計画を立てる場面や，ゲーム，

遮るように凹型の形状に変形する(a)．映画のような 16:9 の議論を行う場面等が相当する．例えば，個人作業中にもうワイド画面が表示された場合，平面かつギャップの少ない

1 人のユーザがインタラクション・ゾーンに入ると(c)，1 枚

ディスプレイが必要だとシステムが判断し変形する(b)．三のスクリーンが平面になり，共有画面を提供する(d)．2 人

面図のような情報が表示された場合は，凸型に変形する．

がより近づいたり位置を変えたりすると，もう 1 枚のスク

こうすることで奥行が感じられ，より立体的な確認が可能

リーンも平面になり，協同作業を支援する(e)．ここでお互となる(c)．フライトシミュレータやゲームなど，没入感やいが両端に離れる動きを見せると，ディスプレイは凸型に臨場感が必要な場合，凹型ディスプレイへと変形する(d)．

変形する．これは協同作業が終わり，個人作業へ移るのだ

現状では，コンテンツと形状の関係はユーザの設定によとシステムが判断したからで，左右のスクリーンはそれぞるが，システム上，アプリケーションの種類を検出するこれの個人画面，中央は共有画面として機能する(f)．図中でとは難しくなく自動化は現実的なものである．

は 2 人は旅行の計画を立てており，それぞれの画面ではメ

空間配置に応じたディスプレイの変形ールやカレンダー等のプライベートな情報を扱いつつ，中我々のデザインスタディが示したのは，コンテンツの違央では旅行先の地図や観光情報等を共有している．個人作

いだけでなく，人の空間配置によっても選ばれるディスプ

業が終わり，再び協同作業へと戻る場合も，お互いが近づ

レイ形状が異なるということであった．そこでデザインス

くだけでディスプレイが平面へと戻る(e)．

タディの結果と Proxemics interaction[17]の考えに基づき，

このような mixed-focus collaboration，F-formation の周囲の空間配置を認識し変形するシステムを実装した．ユ

考え方は 3 人以上でも有用である．例えば図 8 ではジェスーザとスクリーンの位置・姿勢は上部に取り付けた赤外線

チャを用いて明示的に変形を指示しているが，3 人がお互いに離れる，といった振舞いをすることで，ディスプレイ

© 2016 Information Processing Society of Japan69

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

16INT008
2016/3/3の分離を促すことができる．
コンテンツと空間配置の組み合わせによる変形
表示コンテンツの認識と空間配置の認識を組み合わせることで，より細かな場面にも対応が可能となる．例えばディスプレイにゲームが表示されている場合，没入感を求Interactionzone

めて凹型に変形するのが良いと考えられるが，ここでユー

Ambient
display zone

ザの人数や配置も認識できれば，左右の角度を最適に設定

図 11．インタラクション領域

図 12．エラー処理

することが可能となる．
エラー処理

多分に日常的な慣習の影響を受けている．例えば広い凹型システムの誤認識が生じた場合，ユーザの望まない変形のディスプレイは，フライトシミュレータやゲームセンタ

をするどころか，危険な動きをする可能性もある．これをー等，没入感が重要な場面で既に利用されている．凸型は，防ぐにはいくつか方法があるが[12]，最もシンプルな方法[21]においてキューブ型のディスプレイとして，物体の側は変形に制約を設けることである．例えば，基本形状以外面を見るために提案されている．また，一部のサイネージの変形を行う場合はユーザに確認を求めるということや，などでは見られる構造である．[24]においては，箱型のデ素早い動きにトラッキングが敏感に反応しないよう閾値をィスプレイを組み合わせることで，直立型，L 型，テーブ設定するということ等が考えられる．

ル型等，様々な形状を実現し論じている．また，研究に限望まない動作が生じた場合に備え，我々はシステムの停らずとも，駅構内や街角には広告のための多様なディスプ

止ジェスチャを実装した．センサに右手の掌を向けることレイが存在している．このように，ディスプレイ形状は既で，変形を停止することができる（図 12）．

に多様なものが用いられており，今後も様々な場面で展開

6. 議論
本研究の主要な成果と限界
ディスプレイ形状が変化し，ある特定の個人作業や協同していくと考えられる．提案する自律変形壁ディスプレイ
はそれらを統合したユニーバーサルなものとして利用するという新たな段階に推し進めるものでもある．
システムの設計要素作業を支援する，という考えは一般的でなく挑戦的である

ユーザによるプロトタイプの検証と並行して我々が今ために，懐疑的な意見も多いかもしれない．だが我々の行後取り組むべき課題は，システムの設計を見直すことであったデザインスタディの結果から，人々は状況・作業に合る．まず，スクリーンの枚数である．現状はスクリーンをったディスプレイ形状を求めることは明らかである．我々

3 枚用いているが，これは，3 枚で基本的かつ重要な形状の実装した自律変形壁ディスプレイのプロトタイプは，壁がデザインできると考えたためである．だが，ユーザの人型ディスプレイをユーザが簡単に，状況に応じて変形でき数が増えた場合，3 枚では小さい場合もある．またスクリる 1 つの方法である．その有用性は大きいと考えられる．

ーンの枚数が増えれば，デザインできる形状の幅が広がる．

しかし一方で，これは萌芽的な研究である．我々はデザ

実際，デザインスタディの参加者の中には，4 枚での可能

インスタディの結果をもとにしてプロトタイプの実装を行性に言及する者もいた．プロジェクションの問題は残るが，ったが，実際のユーザによる利用テストまで行っていない．

4 枚であれば，柱型や，ユーザの周囲を囲う形状もデザイ

また，インタラクションの方法として，ジェスチャ，コン

ン可能である．

テンツ，空間配置という 3 つを実装したが，これらを含め次に検討すべきは，変形の際の動きである．我々のデザたシステムがどれだけ作業空間を良くするのか，という検インスタディでは形状に焦点を当てており，自動変形その証はまだ行えていないのが現状である．ジェスチャの操作

ものについては論じていなかった．これは，作業に重要な性や，コンテンツと空間配置の認識による変形がどれほどのはまずディスプレイ形状だと考えたためである．しかし自然で，作業内容に影響をもたらすか，といった検証が必

今後，実際の検証を行った場合，変形の動き自体がユーザ要である．さらにそこから得られた知見をもとに，より良に影響を与える可能性も少なくない．プロトタイプではいインタラクションの方法を検討していくことが必要であRoomba を用いていたが，二輪駆動であるため左右に動ける．

ないなど，動きの制約がある．駆動ロボットの自由度はそ

多様なディスプレイ形状のままスクリーンの自由度となるため，四輪駆動のロボッ

ディスプレイ形状の変化がもたらす影響については，ユト等，他の可能性も検討する必要がある．

ーザによる実験的検証が必要であるが，ある程度推察でき

ディスプレイの表示方法も，ユーザに影響を与える重要る．それは様々なディスプレイ形状が既に日常生活においな要素である．現状ではプロジェクタ 1 台を用いて投影をて用いられており，また多くの研究でも検討されているた行っているが，これだとユーザ自身の影がスクリーン上にめである．我々の設計もそしてデザインスタディの結果も生じてしまう，投影範囲も大きくはないという問題がある．

© 2016 Information Processing Society of Japan70

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

また，スクリーンの配置によっては表面への投影が難しい（角度の急な凹型や凸型など）．そのため複数台のプロジェ
クタを用いるなどして，この問題を克服する必要がある．
理想的にはデジタルディスプレイそのものを移動させればよいが，重量や圧迫感など，その実装による検討事項も多い．

7. まとめ
本稿では，作業空間を支援する，自律移動・変形が可能
な壁ディスプレイの提案と検討を行った．まず我々は 6 つのコンテンツと 4 つの空間配置から成る 24 のシナリオを作成し，ユーザに対してデザインスタディを行った．その結果，シナリオに応じて，ユーザは平面以外の様々なディ
スプレイ形状を求めること，また選ばれた形状には，平面，
分離型，凹型，L 型，凸型等いくつかの基本パターンが存在することを確かめた．次に我々は，デザインスタディで得られたコンテンツと形状についての知見をもとに，3 枚の直立スクリーンから成る自律変形壁ディスプレイのプロ
トタイプを実装した．これは小型ロボットにより制御され，スクリーンごと独立した変形が可能である．変形の方法としては，ジェスチャによりユーザが明示的に指示する方法と，表示コンテンツや空間配置によりディスプレイが自律的に変形する方法を実装した．また，それぞれについて利用シナリオを想定し，作業空間にどのような影響がもたらされるのかを示した．今後は，ユーザによるプロトタイプの有用性の検証を行うとともに，設計要素のさらなる検討
を通して自律変形壁ディスプレイの可能性を追求していく
予定である．
謝辞
本研究の一部は，科研費（26730101）および東北大学電気通信研究所共同プロジェクトによる．

参考文献[1] Alexander, J., Lucero, A., and Subramanian, S. Tilt
displays: designing display surfaces with multi-axis tilting andactuation. MobileHCI '12, 161-170.
[2] Ardito, C. Buono, P., Costabile, M., and Desolda, G.
Interaction with Large Displays: A Survey. ACM Comput.
Surv. 47, 3, Article 46, 2015, 38 pages.
[3] Box by Bot & Dolly
https://www.youtube.com/watch?v=lX6JcybgDFo[4] Endert, A., Bradel, L., Zeitz, J., Andrews, C., and North,
C. Designing large high-resolution display workspaces. AVI'12, 58-65.
[5] Double Robotics http://www.doublerobotics.com/[6] Gjerlufsen, T., Klokmose, C., Eagan, J., Pillias, C., andBeaudouin-Lafon, M. Shared substance: developing flexible
multi-surface applications. CHI '11, 3383-3392.
[7] Gomes, A., and Vertegaal, R. PaperFold: evaluating shapechanges for viewport transformations in foldable thin-film
display devices. TEI '15, 153-160.
[8] Gutwin, C. and Greenberg, S. A descriptive framework ofworkspace awareness for real-time groupware. Journal of© 2016 Information Processing Society of Japan

16INT008
2016/3/3

Computer Supported Cooperative Work 11(3-4), 411-446, 2002.
[9] Hall, E. The hidden dimension; Doubleday 1966.
[10] Hinckley, K., Dixon, M., Sarin, R., Guimbretiere, F., andBalakrishnan, R. Codex: a dual screen tablet computer. CHI'09, 1933-1942.
[11] Ichino, J., Isoda, K., Hanai, A., and Ueda, T. Effects of thedisplay angle in museums on user's cognition, behavior, andsubjective responses. CHI '13, 2979-2988.
[12] Ju, W., Lee, B.A., Klemmer, S.R. Range: exploring implicit
interaction through electronic whiteboard design. CSCW ’08,
17-26.
[13] Karnik, A., Plasencia, D., Mayol-Cuevas, W., andSubramanian, S. PiVOT: personalized view-overlays fortabletops. UIST '12, 271-280.
[14] Koppel, M., Bailly, G., Müller, J., and Walter, R. Chained
displays: configurations of public displays can be used toinfluence actor-, audience-, and passer-by behavior. CHI '12,
317-326.
[15] Lissermann, R., Huber, J., Schmitz, M., Steimle, J. andMax Mühlhäuser. Permulin: mixed-focus collaboration on
multi-view tabletops. CHI '14, 3191-3200.
[16] Marquardt, N., Hinckley, K., and Greenberg, S.
Crossdevice interaction via micro-mobility and f-formations.
UIST '12, 13-22.
[17] Marquardt, N. and Greenberg, S. Proxemic interactions:from theory to practice. series: Synthesis Lectures on HumanCentered Informatics, Morgan & Claypool Publishers, 2015.
[18] Nacenta, M., Sakurai, S., Yamaguchi, T., Miki, Y., Itoh, Y.,
Kitamura, Y., Subramanian, S. and Carl Gutwin. Econic: aperspective-aware interface for multi-display environments.
UIST '07, 279-288.
[19] openFrameworks. http://openframeworks.cc/[20] Pingali, G., Pinhanez, C., Levas, A., Kjeldsen, R.,
Podlaseck, M., Chen, N., and Sukaviriya, N. Steerable
Interfaces for Pervasive Computing Spaces, IEEE conf.
Pervasive Computing and Communications, 23-26,2003.
[21] Pla, P. and Maes, P. Display blocks: a set of cubic displays
for tangible, multi-perspective data exploration. TEI '13, 307314.
[22] Rasmussen, M. Pedersen, E., Petersen, M., and Hornbæk,K. Shape-changing interfaces: a review of the design space andopen research questions. CHI '12, 735-744.
[23] Roboscreen: http://roboticarts.com[24] Schmidt, R., Penner, E. and Carpendale, S.
Reconfigurable Displays. UBICOMP'04 Workshop: Ubiquitous
Display Environments.
[25] Takashima, K., Aida, N., Yokoyama, H., and Kitamura, Y.
TransfomTable: a self-actuated shape-changing digital table,
ITS '13, 179-188.
[26] Takshima, K., Asari, Y., Yokoyama, H., Sharlin, E., andKitamura, Y. MovemenTable: The design of moving interactive
tabletops, INTERACT2015, LNCS 9298, 296-314.
[27] Tandler, P., Prante, P., Müller-Tomfelde, C., Streitz, N.,
and Steinmetz, R. ConnecTables: dynamic coupling of displays
for flexible creation of shared workspaces, UIST '01, 11-20.
[28] Vogel, D., and Balakrishnan, R. Interactive publicambient displays: transitioning from implicit to explicit, public
to personal, interaction with multiple users. UIST '04, 137146.

71