情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D052022/2/21

身近な情報機器への入力に経験や知識から推測される内容とは異なる出力を提示するインタラクティブな擬似出力手法
小泉篤志†1橋田朋子†1

概要 ：身近な情報機器が高度化・複雑化するにつれ，一般のユーザにはその仕組みが益々わからなくなり，さらには注意を払わなくなりつつある．筆者らは，ユーザに敢えて身近な情報機器での自分の入力に対する出力に確信が持てなくなる体験をしてもらうことで，自然と対象の仕組みに注意を向け，思いを巡らすのではないかと考える．
そのためには本来はあり得ないはずだが，あり得るかもしれないと勘違いしそうになる出力，即ち擬似出力の手法が有効であると考え，人がこれまでの経験から推測しやすい状況を敢えて作った上で，ユーザの入力に対して推測した状況では本来起きないはずのことを生じさせる手法，逆に本来起きるはずのことを生じさせない手法，達成される機能が似ている道具の入力に機械の出力を同期させる手法の 3 つのインタラクティブな擬似出力手法を提案する．本稿では各擬似出力手法の具体事例として，遠隔地ライブ配信を模したタブレット上の映像にタッチでインタラクションができる，周期的に動く物体のライブ配信を模した PC 上の映像が物体操作後にずれる，用途が類似するアナログな文房具の入力とファブリケーション機器の出力を同期させる，という手法を実装した．さらにユーザスタディを実施して 3 つの手法であり得る，あり得ないと感じる度合いが変わることを確認した．

1. はじめにないはずのことを生じさせる手法である．二つ目は逆にユーザの入力に対して推測した状況では本来起きるはずのこ私達が日常で使う多様な情報機器や機械の仕組みが高度とを生じさせないようにする手法である．三つ目は，達成化・複雑化するにつれ，その仕組みは益々一般のユーザかされる機能は似ているが入力手法が明らかに異なる二つのら見えなくなりつつある．このように仕組みがブラックボモノを用い，本来関係がないはずの両者を同期して動かすックス化することは，不安感を人に抱かせたり，仕組みを手法である．一つ目と二つ目の手法は映像の表示が可能な理解し機械を都合よく扱える人と扱えない人との格差を広タブレットや PC などの情報機器を用い，三つ目の手法はげるといった課題を生みやすい．その一方で最近では仕組特定の動作をする家庭用の機械を用い実現する．

みがわかりにくいことを逆手に取り，本来はあり得ないは

本稿では以下に擬似出力の先行事例，本研究の提案手法，ずだが，あり得るかもしれないと勘違いしそうになる出力

提案手法の実装，ユーザースタディについて述べる.

（これを擬似出力と本稿では呼ぶ）を実現し，エンタテインメントやアート作品として楽しませるような事例や研究も活発化している[1][2]．

2. 先行事例

筆者らは，情報機器や機械と人々が上手に付き合ってい

2.1 ユーザが受動的に鑑賞する擬似出力

くためには，見えづらい仕組みに人が興味を持ち考えるきユーザの体験が受動的な擬似出力の事例として，っかけをうまく作ることが大事であると考える．その際にMIRAGE[3]ではヘッドマウントディスプレイに過去の映上述した擬似出力の手法が有効と考えられるが，これまで像と現在の映像を交互に映すことにより，現在のことを映の擬似出力の多くは，ユーザが受動的に鑑賞する形や[3]，しているのか過去のことを映しているのか体験者に分からユーザの入力に対し出力する場合でも明らかにフィクショなくさせる．また，吐息[5]は映像に映されている人が映ンとわかるコンテンツや状況を設定し，比較的すぐに違和像の中で息を吹くと，映像の外である物理世界の布が揺れ感を感じられる形[4]をとっていた．これに対し本研究でることで，本来影響を与え合うことのできない物理世界とはより日常で実際に起きそうな状況でのインタラクション映像世界の関係性を考えさせる．さらに，思い過ごすものを想定し，体験者が自分の入力に対する出力をあり得るとたち[6]では，タブレット端末の液晶のキーボードに水を感じたりあり得ないと感じたりすることを行き来するよう流し，水の流れによって打たれた不規則な文字列の中にな擬似出力の形を提案し，ユーザが対象の仕組みについて時々“VOLVIC”と表示させることで，水によって不規則思いを巡らす体験の実現を目指す.に打たれた文字列の中に時々規則的な文字が表示されるこ

提案する擬似出力手法は大別すると 3 種類ある．一つ目とにより鑑賞者に違和感を与える．これらの事例では機械

は人がこれまでの経験から推測しやすい状況を敢えて作っの擬似出力をユーザは受動的に鑑賞するため，体験者と機た上で，ユーザの入力に対して推測した状況では本来起き械とのインタラクションがない．本研究では体験者の入力†1 早稲田大学© 2022 Information Processing Society of Japan407

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D05
2022/2/21

した結果に対応する擬似出力をインタラクティブに提示す

1 に本手法の概念図を示す．本手法はあらかじめ物体の状る点が異なる．

態が様々な複数のパターンの映像を撮影しておき，ユーザのタッチ入力の位置や順番などに応じて整合性の取れた映

2.2 ユーザが能動的に楽しむ擬似出力像を出力することで実現する．遠隔のライブ映像配信のよ

ユーザの体験が能動的な擬似出力の事例として，Pointerうに見えることは LIVE という文字を画面内に表示するこ

Pointer[4]ではブラウザ上にマウスのポインタをかざすと，とで実現する．

数秒後にそのポインタを指差す人の写真が表示されることこの仕組みはユーザが過去にタブレットをタッチし画面で，まるで画像に映る人物がポインタの位置を理解してい内のコンテンツを操作する経験と定点カメラのような遠隔るのではないかと体験者に思わせる．また，小人の仕事地の映像配信の視聴の経験或いは知識があることを前提と[7]ではユーザがスイッチを押すと，電気が消えて壁に小している．前者の経験があることで，実際にはライブ映像

人とスイッチの影が映り，小人がスイッチの影を蹴ると実に自分の手元の入力で影響が生じるはずはないが，一瞬そ世界のスイッチが戻り電気がつく．影による情報と実世界れがあり得ることのように感じてしまう．また後者の知識の動きを対応させることで，まるで小人がスイッチを動かや経験があることで，ディスプレイに表示される物体がタしているのではないかと思わせる.また，Inter Image[8]でブレットの持ち方を変えても動かないのに，作り込まれたは，体験者がタッチパネルに指をかざすと，その指の動きコンテンツではなくリアルタイムの映像だと思い込むことに対応した様々な画像が指の入力の動きに応じて切り替えができる，と考えた．

られ，まるでユーザ自身がそれらの画像内の事物を動かしているかのように感じさせる．
これらの事例はどれも機械とのインタラクションを行っているが，明らかにフィクションであると分かるコンテンツであり瞬時に違和感を感じられる. 本研究では日常で実際に起きそうなインタラクションを想定し，体験者が過去に対象となる情報機器や機械を使用した時の経験を活用し，その経験が体験の途中で裏切られるような出力を提示することで仕組みに対して疑いや興味を抱かせる．

図 1 遠隔地ライブ配信を模した映像へのインタラクションの概念図

3. 提案手法

3.2 周期運動物体とそのライブ配信風映像の位置ずらし

本研究の擬似出力手法は 3 種類に大別される．まず，リ本手法は乾電池で駆動する周期的に動く物体，物体の映アルタイムの映像と記録編集された映像のどちらの表示も像を撮影するカメラ，映像を表示する PC を用いて，目の可能なタブレットや PC などの情報機器を用い，これまで前で動く物体の映像をカメラで撮影し，その映像をリアルの経験からどちらの映像なのか推測しやすい状況を敢えてタイムで PC のディスプレイに表示しているように見える作った上で，一つ目はユーザの入力に対して推測した状況

状況において，体験者が PC の操作で対象の動き（止/動）では本来起きないはずのことを生じさせる手法を，二つ目を制御すると，本来は一致するはずの実世界と映像の物体は逆に本来起きるはずのことを生じさせないようにする手の位置に関して，実世界とは異なる位置の映像が表示され法を提案する．三つ目は特定の動作をするデジタル機器とる擬似出力手法である．図 2 に本手法の概念図を示す．本

それと用途は似ているがアナログな道具を用意し，本来関手法はあらかじめ，対象となる周期的な動きをする物体が係がないはずの両者を同期して動かす手法を提案する．以一周の間動く映像を撮影しておく．また，現在の物体の位

上 3 つの擬似出力手法の詳細（使用状況，実現方法，利用置を Web カメラで撮影した映像を，画像処理を行い物体する前提知識，体験者に与える違和感や勘違い）についての位置情報を推定し，その位置情報とユーザの操作内容に次節以降に詳しく述べる．

応じて動画の再生速度を調整することで整合性の取れた映像と取れていない映像をディスプレイに出力することで実

3.1 遠隔地ライブを模した映像へのインタラクション現する．具体的には，目の前の物体をリアルタイムの映像

本手法は，カメラを内蔵したタブレット型端末を用い，だと思わせるため，体験の最初は対象と映像の位置関係を遠隔のライブ映像をディスプレイに表示しているように見一致させ，ユーザの操作に対応して物体と映像が同時に動える状況において, 本来はユーザのタッチ入力に合わせて作を開始・停止させるがユーザが慣れてきたら徐々に物体動くはずがない映像内の物体が，あたかも影響を受けたかの位置と異なる位置の映像を出力する．のような映像に切り替わるという擬似出力手法である．図© 2022 Information Processing Society of Japan

この仕組みはユーザが過去に目の前の物体をカメラで408

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D05
2022/2/21

撮影し液晶画面にその映像を表示したことや，その様子を見たことがある経験或いは知識があることを前提としている．この経験があることで，Web カメラで撮影されている物体の映像をディスプレイに映している機材の状況が目の前にあると，人はディスプレイの映像をライブ映像だと思い込み，対象と映像の位置関係や動きが異なっても一瞬それがありえることのように感じてしまう．
図3

用途が類似する道具の入力と機械の出力の同期の概念図

4. 実装
3 種類の提案手法を実際に体験できるように適用可能な具体的な状況をそれぞれ設け，その状況に限定したシステ
ムを作成した．以下にそれぞれの提案手法ごとの実装内容を示す．
4.1 遠隔地ライブを模した映像へのインタラクション
図2

周期運動物体とそのライブ配信風映像の位置ずらしの概念図

遠隔地ライブ配信を模した映像へのインタラクションの実装において，今回は特に遠隔地の映像をタブレット端末で映す状況の例として，「机の上に置かれている３本のペ3.3 用途が類似する道具の入力と機械の出力の同期ンをスマートフォンに映す状況」を設け，この状況に限定

本手法は，特定の動作を行う機械と，その機械と用途がしたスマートフォンアプリを開発した．本項ではユーザが似ている電気を使用しないアナログな道具を用いて，対象表示されているペンの位置をタッチすると，タッチした位の機械を使用する状況において，その機械を動かす入力部

置のペンが倒れる動画に切り替わるアプリついて説明をす

分を道具の入力方法に置き換え，その道具を使用する動作

る．本アプリケーションを使用している様子を図 4 に示す．に合わせて機械から結果を出力する擬似出力手法である．
図 3 に本手法の概念図を示す．本手法は，道具にセンサを取り付け，道具を操作したことを検出し，入力に応じて機械の動作を制御することで，道具の入力に対応した機械の出力を行う．
この仕組みはユーザが過去に入力となる道具と出力となる機械を使用したことがある経験或いは知識があることを前提としている．この経験があることで，道具を入力として使用した結果，同じ使用用途である機械から同期して出力がされると，道具と機械は繋がっていないのにあたかも繋がっているかのように思い，機械の出力によって生まれた結果の精度が高く入力の道具では実現できないような結果であっても，一瞬その結果に対し，入力に使用した道具

図4遠隔地のペンを倒す映像を提示する

スマートフォンアプリを使用する様子が影響を与えているように感じてしまう．
本アプリケーションは，Swift を使用して作成した．また，事前に 3 本のペンを 1 本ずつ倒す計 6 通りの倒れ方全てのペンが倒れる動画の撮影を行った．アプリの入出力のシス
テム構成図を図 5 に示す．アプリの起動時に画面に 3 本のペンが立っている映像が映されており，ユーザがいずれかのペンをタッチすると，タッチした画面の座標を取得し，その位置に応じたペンが倒れる動画に瞬時に切り替えるプログラムを作成した．

© 2022 Information Processing Society of Japan409

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

動作確認として，全 6 パターンのペンの倒し方全てのパターンにおいて動画を瞬時に切り替えることができた．

3D05
2022/2/21

り，物体と映像の動きを一致，もしくは不一致の状態にさせる．
動作確認として，PC のキーで物体の動作の開始と停止を制御できること，画像処理で物体の位置を認識しその位置に動画を合わせること，ずらすことの確認ができた．

図5

遠隔地のペンを倒す映像を提示する

スマートフォンアプリのシステム構成図
4.2 周期運動物体とそのライブ配信風映像の位置ずらし
周期運動物体とそのライブ配信風映像の位置ずらしの実装において，今回は特に周期的に動く物体と物体をリアルタイムで映すディスプレイの例として，「プラレールの電車を Web カメラで撮影しその映像を PC のディスプレイに

図7

プラレールの位置と映像での位置を一致または不一致させるシステムの構成図

映す状況」を設け，この状況に限定したシステムを開発した．本項ではユーザが操作するプラレールの位置や動き方

4.3 用途が類似する道具の入力と機械の出力の同期と，ディスプレイに映されている過去のプラレールの映像用途が類似する道具の入力と機械の出力の同期の実装にの位置や動きを一致または不一致させるシステムについて

おいて，今回は特に用途が似ている道具と機械の組み合わ説明する．システムを使用している様子を図 6 に示す．

せの例として，「ハサミを入力としてカッティングマシンを動かす状況」を設け，この組み合わせに限定したシステ
ムを開発した．本項ではハサミの持ち手の開閉に合わせてカッティングマシンが動くシステムの説明を行う．また，カッティングマシンが紙をカットする動作をユーザから見えないようにするためスチレンボードで覆っている．シス
テムを使用している様子を図 8 に示す．

図6

プラレールの位置と映像での位置を一致または不一致させるシステムを使用する様子

本 シ ス テ ム は ， プ ラ レ ー ル の 電 車 ，Web カ メ ラ（BSW32KM03，Buffalo），遠隔からオンオフの制御が可能な乾電池（Mabeee，ノバルス株式会社），PC によって構成され，Python を使用して全体の制御を行う．システム
構成図を図 7 に示す．ユーザは PC のキー操作を行うこと

図8

ハサミでカッティングマシンを動かすシステムを使用する様子

で実物のプラレールの電池として使用している Mabeee の電圧の数値を制御することにより，プラレールの動き（発本 シ ス テ ム は ，Arduino Uno， 圧 力 セ ン サ （FSR402，進・停止）を制御する．Web カメラから取得したプラレー

Interlink Electronics Inc.），ステッピングモーター（SPG27-ルの電車のリアルタイムの映像から，画像処理ライブラリ

1101，日本電産コパル電子株式会社），モータードライバ

である openCV を活用し，電車の赤い部分をカラートラッ（DRV8835，株式会社秋月電子通商），カッティングマシキングすることにより位置情報を取得する．その位置情報

ン（Portrait2，グラフテック株式会社），ハサミ，3D プリをもとに，過去に撮影した動画の速度を調整することによントしたラックピニオン機構によって構成される．システ© 2022 Information Processing Society of Japan410

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D05
2022/2/21

ム構成図を図 9 に示す． ユーザがハサミの持ち手を開閉す

5.2 実験結果

ると，持ち手の接触部分につけてある圧力センサが開閉し手法ごとの設問項目の評価値の結果を図 10 に示す．手法たことをセンシングし，その値の変化に応じて Arduino がと評価項目を要因とした２要因の分散分析を行った結果，ステッピングモーターを制御し，ラックピニオン機構を動交互作用に有意差が見られた(F(4,20)=8.18,p<0.01)．手法

かしカッティングマシンの再開・停止ボタンを押すことにごとの違いについての単純主効果を検定したところ，設問より，カッティングマシンの出力状態を制御する．

項目①では 1％水準で有意であり，設問項目②では 5％水動作確認として実際にハサミの開閉を行うと，カッテ準で有意であった．Holm 法を用いた多重比較の結果，設ィングマシンのスイッチを機構が押して機械が動き，ハサ

問項目①において，遠隔地ライブを模した映像へのインタ

ミの開閉を止めると動作停止のスイッチを押し，機械を停ラクションの回答平均値が，その他の手法よりも 5％水準止させたことを確認した．

で有意に高く，設問項目②においては，周期運動物体とそのライブ配信風映像の位置ずらしと用途が類似する道具の入力と機械の出力の同期の回答平均値が，遠隔地ライブを模した映像へのインタラクションよりも 5％水準で有意に高かった．
よって遠隔地ライブを模した映像へのインタラクショ
ンはその他の手法と比較し，入力に対する擬似的な出力があり得ると感じられやすく，周期運動物体とそのライブ配
信風映像の位置ずらしと用途が類似する道具の入力と機械の出力の同期は，遠隔地ライブを模した映像へのインタラクションと比較し，入力に対する擬似的な出力があり得ないと感じられやすいことが分かった．

図 9 ハサミでカッティングマシンを動かす
遠隔地ライブを模した映像へのインタラクション
周期運動物体とそのライブ配信⾵映像の位置ずらし⽤途が類似する道具の⼊⼒と機械の出⼒の同期システムの構成図

5. 実験
5.1 実験概要
本研究で実装した 3 種類の擬似出力手法を使用する際，体験者が自分の入力に対する擬似出力に対して，あり得る，あり得ない，の感情を抱くか，また体験を通じてシステムの仕組みを考え，機械の仕組みに対する興味や疑念を抱いたかを調査するため，20 代の男女 6 人を対象としたユーザ

回答平均値

5＊
＊

43
21
①

ースタディを行った．手順としては各手法のシステムを，操作方法と使用開始時の状況設定のみを伝えて実際に体験

＊＊

②

③

設問番号
図 10

各手法の体験に関する設問の回答平均値

してもらい，全てのシステムの体験終了後にアンケートを実施した．アンケートの評価項目は各システムの感想を聞

また，3 種類の体験の全体を通じた設問項目の結果を図く設問として「①入力に対する出力はあり得ると感じた」，11 に示す．設問項目④「以前より情報機器や機械への見「②入力に対する出力はあり得ないと感じた」，「③体験中えない仕組みに対する興味が強まった」と設問項目⑤「以にどんな仕組みなのか考えた」を設け，３種類の体験全体

前より情報機器や機械への見えない仕組みに対する疑いのを通じた感想を聞く設問として「④以前より情報機器や機気持ちが強まった」の平均値はそれぞれ 4.33，3.83 であり，械への見えない仕組みに対する興味が強まった」，「⑤以前標準誤差はそれぞれ 0.21，0.47 であった．設問項目④に関より情報機器や機械への見えない仕組みに対する疑いの気しては，参加者全員の評価が 4 以上であり，本手法の擬似持ちが強まった」を設けた．それぞれの項目において「よ出力を経験することで情報機器や機械への仕組みへの興味く当てはまる」を 5，「全く当てはまらない」を 1 として，が強まると考えられる．一方設問項目⑤に関しては，2 名

5 段階評価を行った．また，アンケートの最後に今回の擬の参加者が評価 3 以下を選択したことから，仕組みに対す似出力を体験して感じたことを自由に記述する項目を設ける疑いの気持ちが増すとは言えないことが分かった．

た．

© 2022 Information Processing Society of Japan411

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3D05
2022/2/21[5]吉岡徳仁．吐息． https://www.tokujin.com/works/2004-hermessouffle/，(参照 2021-12-21)[6]谷口暁彦．思い過ごすものたち.
http://okikata.org/exhibition/001/ ,（参照 2021-12-21）[7]遠藤紘也．小人の仕事．http://hiroya-endo.net/works/thediligent-shadow.html，（参照 2021-12-21）[8] 谷口暁彦．Inter Image．
https://okikata.org/%E2%98%83/interimg/，（参照 2021-12-21）

回答平均値

5432
1④⑤

設問番号
図 11

体験全体を通じた設問の回答平均値

また実験参加者の自由な感想として，視覚情報からは理解出来ない機械の可能性を感じたという意見や，どのように出力をずらしているのか今回の機械の仕組みを考えたという意見，自分の予想と機械の出力とのずれが面白いという意見などから，擬似出力に関する肯定的な意見が挙げられた．一方で，体験の途中でシステムが自分の予想と異なる動きをした際に行為主体感が薄れてしまうという意見もあり，擬似出力を体験する上で，行為主体感という観点から実装の設計を再度考える必要があると考えられた．

6. おわりに本研究では日常で実際に起きそうな状況でのインタラクションを想定し，情報機器や機械への入力に対し，ユーザの前提知識や経験とは異なる擬似的な出力を提示する手法を３種類提案した．また，それぞれの手法を特定の状況において実際に体験できるように実装した．また，ユーザースタディを行い手法の有効性を調査した結果，手法によってあり得る，あり得ないと感じる度合いが変わることが分かり，また，この体験を通じた機械の仕組みに対する興味を持ったことが考えられた．
今後の展望として，提案手法のバリエーションを増やすこと，本手法を使用した別の装置で実装すること，本研究での提案手法よりもさらに日常でよく使用される機械で使用できる擬似出力の手法を探すこと，また，あり得ると，あり得ないの両方を実際に体験できる形の手法や実装を模索することを考えている．

参考文献[1]Maarten Baas．Schiphol Clock． http://maartenbaas.com/realtime/schiphol-clock/，(参照 2021-12-21)[2]新宿に出現「トイ・ストーリーの窓」 “人間の前で動いてはいけない” おもちゃの世界を体験.
https://www.oricon.co.jp/news/2139605/full/，(参照 2021-1221)[3]藤井直敬ら．MIRAGE． https://mirage.grinder-man.com/,（参照2021-12-21）[4]Pointer Pointer. https://pointerpointer.com/ , (参照 2021-12-21)© 2022 Information Processing Society of Japan412