情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B25
2018/3/5

紙をちぎることで電子情報を手渡す
インタラクション方式の実装
玉城 和也1呉 健朗1中村 仁汰1

富永 詩音1

宮田 章裕1,a)

概要：スマートフォンをはじめとする電子端末の普及により画像や動画などの電子情報の受け渡しは，今や日常的に行われていることである．メールや SNS アプリケーションを利用して電子情報を受け渡すためには，送信者は受信者の連絡先を知っている必要があるが，受け渡し相手が初見の相手や，その場限りの相手であると連絡先を交換することに抵抗を感じる人は多いと思われる．この問題を解決するために，我々は，紙をちぎって手渡すことで電子情報の受け渡しを可能にするモデルを提案する．これにより，ユーザはどこにでもある紙で連絡先を交換せずに電子情報の受け渡しができるようになる．このモデルを実現するための具体的な手段として，文字が印刷された紙 (例:レシート) を利用する．電子情報の受け渡しを行
うとき，送信者は紙をちぎり，受信者に手渡す．このときに送信者が持つ紙片を ps ，受信者が持つ紙片をpr とする．送信者は ps をカメラで写すことで， ps の破れ目の特徴と電子情報を関連付ける．受信者はpr をカメラで写すことで， pr の破れ目の特徴，すなわち， ps の破れ目の特徴に合致する電子情報にアクセスできる．この方式により，ユーザは連絡先を交換することなく電子情報の受け渡しが可能となる．

Implementation of an Interaction Method of
Handing Over Electronic Information by Paper Tearing
Kazuya Tamaki1

Kenro Go1

Jinta Nakamura1

1. はじめにShion Tominaga1

Akihiro Miyata1,a)

この状況に鑑み，本研究では，電子情報の受け渡しを行うシーンにおいて，連絡先を渡すことなく情報の受け渡しスマートフォンをはじめとする電子端末の普及により画を行う方式の確立を研究課題として設定する．このとき，像や動画などの電子情報の受け渡しは，今や日常的に行わ偶然道案内をするときのような，ユーザが想定していないれていることである．例えば， パーティ会場で撮った写シーンでも，見知らぬ相手との情報の受け渡しを行う可能

真を送るとき ， インターンシップに参加した際に撮影し性があることから，誰もが日常的に持っていること，簡単た動画を送るとき がある．電子情報を受け渡す手段の例に手に入れられること，手軽な作業でユニークな特徴を生として，メール， SNS アプリケーションを利用して受けみ出すことができるものが必要である．

渡す方式が挙げられるが，これらを利用する際にはユーザ以上のことから，我々は，紙をちぎって手渡すことで電は相手に連絡先を渡す必要がある．被験者同士が見知った子情報を受け渡す方式を提案する．これは，ある紙を 2 片仲であれば，連絡先を交換することに抵抗はない．にちぎり分けたとき，各紙片の破れ目の特徴が合致する性しかし偶然道案内をしただけの人や，インターンシップ質を利用したアプローチである．電子情報の受け渡しを行で隣席になっただけの人と連絡先を交換することに抵抗をうとき，送信者は紙をちぎり，受信者に手渡す．このとき感じる人は多いと考えられる．に送信者が持つ紙片を ps ，受信者が持つ紙片を pr とする．
送信者は ps をカメラで写すことで ps の破れ目の特徴と電1a)

日本大学文理学部
College of Humanities and Sciences, Nihon University
miyata.akihiro@nihon-u.ac.jp© 2018 Information Processing Society of Japan子情報を関連付ける．受信者は pr をカメラで写すことで，pr の破れ目の特徴，すなわち ps の破れ目の特徴に合致す

615

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

る電子情報にアクセスできる．

2B25
2018/3/5ができる．Pick-and-Drop[8] は，ペン型デバイスを用いて本稿の貢献は，連絡先を渡すのに抵抗を感じられる相手異なるコンピュータ間で情報の受け渡しを行うシステムでとでも情報の受け渡しが行えるシステムモデルを考案し，ある．ペンでコンピュータ画面上のデータを選択した後，実装を行ったことである．

他のコンピュータ画面にペンを接触させるとデータをそこ

2. 関連研究
相手に情報を受け渡す方法は，お互いの連絡先を交換して情報を受け渡す方法と，連絡先を交換せず情報を受け渡す方法に大別できる．本章は，これらの研究についてそれぞれ紹介する．に移動できる．O-Link[9] は，動画ファイルを物理世界オブジェクトの形状に関連付けて，専用のデバイスの上にオブジェクトを置くことで動画を再生できるシステムである．

3. 研究課題
3.1 問題の定義
スマートフォンの普及により電子情報の受け渡しは，今2.1 連絡先を交換して情報を受け渡す方式
AirMeet[2] は，懇親会の会場内に限定して一時的に連絡や日常的に行われていることである．例えば下記のような例が挙げられる．

先を共有し，コミュニケーションを支援するシステムで，• 旅行中に撮った画像・動画を送る

懇親会で配布されるネームプレートの機能を拡張したス• パーティ会場で撮った画像・動画を送るマートフォンアプリケーションである．[3] は，イベント開このような電子情報を受け渡すためには，メールや SNS催前，開催中，開催後のそれぞれの場面において SNS で取アプリケーションの利用が行われているが，ユーザに負担得するプロフィール情報と携帯端末から取得する位置情報をかけずに誰とでも円滑に情報の受け渡しを行うためにを利用して，相手とのコミュニケーションを支援をするシは，既存技術ではいくつかの問題を解決できていない．

ステムである．イベント開催前では，イベント参加予定者

1 つ目の問題として，送信者は受信者の連絡先を知ってリストの閲覧を携帯端末で行うことができ，参加予定者のいる必要があるという点が挙げられる．被験者者同士が見プロフィールを見ることができる．イベント開催中では，知った仲であれば，連絡先を交換することに抵抗はない．

対面した相手とのプロフィール情報の共通点をそれぞれのしかし，初見の相手 (例:偶然道案内をしただけの人) や，そ携帯端末に提示することで，初対面の相手に話しかける支の場限りの相手 (例:インターンシップで隣席になっただけ援を行う．イベント開催後では，自身の行動ログとして，の人) と連絡先を交換することに抵抗を感じる人は多いと位置情報のログを検索・閲覧することや，システムを利用考えられる．そのため情報の受け渡しにおいて，メールやして知り合った人の名前やいつどこで知り合ったかなどのSNS，[2][3] のような，連絡先のやり取りを必要とする手段ログを見ることができる．

を見知らぬ相手に用いるのには問題があると考えられる．

2.2 連絡先を交換せず情報を受け渡す方式

る．[4] では連絡先を交換せず情報を送ることができるが，2 つ目の問題として，手間がかかるという点が挙げられ
Sonoba.org[4] は，その場限定で匿名で情報を共有できURL をユーザ自身が設定し，間違いのないように共有しるシステムである．時間制限つきの URL をその場にいるなければならない．[5] や [6] は情報の共有を行うには同じ人で共有することにより，連絡先を交換せずにその場限空間にいなければならないため，新しい情報を受け渡そうりの情報共有を可能としている．SmARt Projection[5] でとするたびに集まる必要があり，手間がかかる．

は，同じ空間を利用する人々とのモバイル端末内データの3 つ目の問題として，大型ディスプレイ [5]，専用のデジ円滑な共有を行うためのシステムで，普段から過ごす空間

タルカメラ [7]，専用のペン [8]，専用のデバイス [9] のようの壁面をデータの共有スペースとし，壁面の任意の位置にな，特別な道具を使用する必要があるという点が挙げられモバイル端末内のデータをに貼り付けることができる．掲

る．本研究においては，ユーザが常日頃持ち歩いていない

示されたデータは各人が所有するモバイル端末で閲覧，取ようなものを利用することは避けたい．

得できる．Pass-them-around[6] は，同一箇所に集まったグループ内での写真共有・閲覧システムである．このシス

3.2 研究課題の設定

テムでは写真を他のユーザに向けて 投げる ジェスチャ

3.1 節の問題に鑑みて，電子情報の受け渡しにおいて，下や，携帯電話自体を傾けることによって回覧することがで記の 3 つの要件を満たす方式の確立を研究課題として設定

きる．Mobiphos[7] は，デジタルカメラに搭載するアプリする．

ケーションである．撮影した写真がグループ内で自動的に共有され，グループでの行動中に各々が撮影した写真がビューファインダーに表示される．これによって，グループのメンバが写真を通したコミュニケーションをとること© 2018 Information Processing Society of Japan

要件 1: 連絡先の交換を必要としない
要件 2: 手間をかけない
要件 3: 身近な道具を用いる

616

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 1 分断された
文字列の行数

図 2

分断された

2B25
2018/3/5

図 3

文字の数

L1 と L2 の長さの比4. 提案方式

図 4 前処理前

図 5 前処理後

3.2 節の研究課題を満たすアプローチとして，我々は，誰もが日常的に持っていて，簡単に手に入るもの，さらに手• 紙は劣化していない (紙が破れていたり，紙に書いている文字が掠れていたりしていない)

軽な作業でユニークな特徴を生み出すことができるものとして紙に着目した．そこで我々は，紙をちぎって手渡すこ• 紙は左上から右下に向かって，台形が 2 つできるようにななめにちぎるとで電子情報の受け渡しを可能にする方式を提案する．これは，ある紙を 2 片にちぎり分けたとき，各紙片の特徴が• 紙片の背景に紙片と同色のものをいれない合致する性質を利用したアプローチである．
電子情報の受け渡しを行うとき，送信者は紙をちぎり，5.2 紙片マッチングのための画像処理における前処理

受信者に手渡す．このときに送信者が持つ紙片を ps ，受信紙片の画像処理には OpenCV を利用する．前処理では，者が持つ紙片を pr とする．送信者は ps をカメラで写すこ

紙片と背景の分離を行なう．まず，抜き出したい紙片の色とで，ps の破れ目の特徴と電子情報を関連付ける．受信者を元にマスク処理用の画像を生成する．マスク処理とは，は pr をカメラで写すことで，pr の破れ目の特徴，すなわ

画像や線画などのオブジェクトを任意の形状にくり抜き，ち，ps の破れ目の特徴に合致する電子情報にアクセスできその内側のみを表示することである．作成されたマスク処る．各自で所持する紙片を交換することなく，送信者と受理用の画像の領域を元画像からくり抜いて，紙片と背景を信者の役割を入れ替えることも可能である．

分離する (図 4 *1 ，5)．

このモデルを実現するための具体的な手段として，文字が印刷された紙 (例:レシート) を利用する．紙片同士の5.3 特徴量 1: 分断された文字列の行の数
紙片に書かれている文字はそれぞれ連結成分となっていマッチングには，下記 3 つの特徴量を利用する．

• 紙の破れ目の分断された文字列の行の数 (図 1)ることを利用して，紙片のみを抽出した画像にラベリング• 紙の破れ目の分断された文字の数 (図 2)

処理を施す．ラべリング処理とは，画素の連結成分を見つ• 紙の破れ目の三角形の 2 辺の長さの比 (図 3)

けて，連結成分ごとに一意の番号を付与する処理である．

ある紙片 p と多数の紙片群 P の各特徴量に基づく類似度

ラベリングは，各連結成分の上端の y 座標 (下向きが正) のを算出し，紙片群 P の中で最も紙片 p と類似していると判値が小さいものから順にラベリングされる．y 座標の値が定できる紙片 p’ をマッチング結果とする．

等しければ x 座標 (右向きが正) を比較して値が小さいもこの方式により，3.2 節で述べた 3 つの要件を満たしてのから順にラベリングされる．このとき，紙片の内側にあいると考えられる．要件 1 については，ユーザは連絡先のり，紙片の三角形の底辺よりも上部にある連結成分のみに交換を必要はなく，紙片を渡すだけよい．要件 2 についてラベリング処理を施した (図 6)．紙片画像にラベリング処は，ユーザは紙をちぎってカメラで写すだけで良いので手理を施したとき，図 7 のような順で各文字にラベリング処間は少ない．要件 3 については，ユーザの使用しているも理が行われる．ラベリングされた連結成分の重心座標 (g)のは紙とスマートフォンのカメラという身近な道具のみでをラベリングされた順に読み込んでいき，n 番目の重心座ある．

標 gn と n+1 番目の重心座標 gn+1 を比較して，x 座標と y

5. 実装
5.1 事前準備
マッチングに使用する紙片をカメラで写す際，下記のように紙の状態，ちぎり方，背景に関する制約を設けた．

© 2018 Information Processing Society of Japan

座標に一定以上の差があれば，改行されていると判定する(図 8，9)．改行された回数に 1 を加えた数を文字列の行の数とし，これを fl (Line feature) とする．
*1

店名や電話番号のような，場所が特定できてしまうような情報は，後からぼかしを入れている．他の画像も同様である．

617

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B25
2018/3/5

図 7 ラベリングされる順番
図 6

図 10

ラベリング処理範囲

図 8 改行されている

図 9各行における最後の文字改行されていない
図 11 hough 変換後

5.4 特徴量 2: 分断された文字の数
5.3 節と同様に，紙片のみを抽出した画像にラベリング処理を施す．ラベリングされた連結成分の重心座標 (g) をラベリングされた順番に読み込んでいき，n 番目の重心座標

gn と n+1 番目の重心座標 gn+1 を比較して x 座標と y 座標に一定以上の差があれば，gn をその行の最後の連結成分の重心座標とする (図 10)．この重心座標付近の画像ピクセル値を検出する．このとき紙片と文字の色以外の色が一定ピクセル数以上検出されれば文字が分断されていると判定し，分断されていると判定された文字の数を fc (Characterfeature) とする．

図 12

各頂点と辺の位置長さを差し引いたもの) と l2 (v1 -v4 ) を求め (図 12)，l1 /l2を fe (Edge feature) とする．

5.6 マッチング
紙片のマッチングには，紙片 p と，ある紙片群 Pn の中の紙片 p’ における fl ，fc ，fe の類似度をそれぞれスコアとして利用する (以降 sl ，sc ，se とする)．紙片 p と紙片 p’の各特徴量をそれぞれ fl ，fc ，fe と fl′ ，fc′ ，fe′ とすると，

sl ，sc ，se は以下になる．
1
1 + |fl − fl′ |1
sc =1 + |fc − fc′ |1
se =1 + |fe − fe′ |sl =5.5 特徴量 3: 三角形の 2 辺の長さの比紙片のみを抽出した画像のエッジを検出する．エッジとは，画像中の明るさ (濃淡) や色が急に変化している箇所のことである．画像中の物体の輪郭部分は一般に濃淡の変化が激しいため，これを利用して輪郭を検出することができ

sl と sc が一定以下であると，マッチング結果の候補からる．その後，Hough 変換を行う (図 11)．Hough 変換とは，はずし，残った候補のうち，se が最も高いものをマッチン

画像から直線を検出する技法で，通常の直交座標上の画像グ結果とする．

を，極座標の二次元空間に変換し，そこで最も頻度の高い位置を求め，それを逆変換して，直線や円を検出する技法

6. 実験である．これによって抽出した紙片の輪郭部分から直線成提案方式の有効性を確認するために，紙片同士のマッチ分を検出し，画像における紙片の各頂点 (v1 ,v2 ,v3 ,v4 とす

ング精度と，提案方式のユーザ受容性について，現在検証る) の座標を求める．これを利用して l1 (v1 -v2 から v3 -v4 の実験を行なっている．

© 2018 Information Processing Society of Japan618

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B25
2018/3/5

7. おわりに本研究では電子情報のやり取りを行うシーンにおいて，連絡先を交換することなく情報の受け渡しを行う方法として，紙をちぎって手渡すことで電子情報を受け渡す方式を提案した．これは，ある紙を 2 片にちぎり分けたとき，各紙片の破れ目の特徴が合致する性質を利用したアプローチである．電子情報を受け渡すとき，送信者が受信者に紙をちぎって一方を手渡すことにより，連絡先を交換すること無く情報の受け渡しをすることができる．
今後は，提案方式の改善に向け，紙片同士のマッチング結果の精度向上を考えている．また，提案方式を用いて実際に情報の受け渡しを行うシステムを構築していく予定である．

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

呉健朗, 玉城和也, 中村仁汰, 宮田章裕: 紙をちぎることで電子情報を手渡すインタラクション方式の基礎検討, マル
チメディア, 分散協調とモバイルシンポジウム (2017)．
神武里奈, 星野准一: AirMeet：懇親会の目的に応じた個
人情報の一時的共有によるコミュニケーション支援シス
テム, 研究報告ヒューマンコンピュータインタラクション(HCI), 2017-HCI-172, 11, pp.1–8 (2017)．
閑野伊織, 田中二郎: イベント開催前から開催後まで一連の流れに沿ってコミュニケーションを支援するシステ
ム, マルチメディア, 分散協調とモバイルシンポジウム(2013)．
山本伶, 増井俊介, 安村通晃: Sonoba.org: その場限定の情報共有システム, 研究報告ヒューマンコンピュータイン
タラクション (HCI),2013-HCI-152, 18, pp.1–8 (2013)．
土佐伸一郎, 田中二郎: SmARt Projection:モバイル端末
内データを共有するための情報掲示システムマルチメディ
ア, 分散協調とモバイルシンポジウム (2011)．
Lucero, A., Holopainen, J. and Jokela, T.: Pass-themaround: collaborative use of mobile phones for photosharing, Proc. CHI ’11, pp.1787-1796 (2011)．
Clawson, J., Voida, A., Patel, N. and Lyons, K.: Mobiphos: a collocated-synchronous mobile photo sharing
application, MobileHCI ’08, pp.187–195 (2008)．
Rekimoto, J.: Pick-and-Drop: A Direct Manipulation
Technique for Multiple Computer Environments, Proc.
UIST’97, pp.31–39 (1997)．
Nakae，T.，Ozawa，S. and Miyashita, N.: O-Link: Augmented Object System for Intergenerational Communication, Proc. SIGGRAPH’10 (2010)．

© 2018 Information Processing Society of Japan619