情報処理学会 インタラクション 2015
IPSJ Interaction 2015

B30
2015/3/6

協調関係の構築を支援する和音の協和性を可視化した透明スクリーンの制作
伊藤 清里奈†1	  	  串山 久美子†2	  	  馬場 哲晃†2	  	 	  	 概要：本研究では他者と協調関係を視覚と聴覚により再構築するインターフェースを提案する．ここで言う協調関係とは，お互いが相手の行動を意識しながら自分の行動を決定している状態を指す．深度カ
メラの利用によってタッチ位置を測定できる透過スクリーンを利用し，対面状態の 2 人のユーザが重ねた音の和音の協和性をリサージュ曲線によって可視化する．

The Transparent Screen For Cooperative Relationship
By Visualizing Chord Harmony
SERINA ITO†1	  KUMIKO KUSHIYAMA†2	  	 TETSUAKI BABA†2	  	 	  	 Abstract: This research proposes an interface that users can build cooperative relationship by visual and auditory. Cooperativerelationship is the state that users determine their actions while they aware other’s behavior. We made transparent screen that canmeasure touch position by using depth camera and visualize chord harmony by lissajous curve.

1. は じ め に援するシステムの研究はこれまでにも報告されてきた．透	  	 	  近年，スマートフォンやタブレット端末の普及により直過スクリーン側面からの深度情報を用いた両面タッチパネ
ル化システム[1]は深度センサを用いてユーザの指先の座感的なタッチ操作を主流とした新しい協調作業の形態が追標を読み取り，その 3 次元座標をスクリーン上の 2 次元座求されている．本研究はこの「協調関係」をユーザ同士が標に変換し情報提示を行う．このシステムでタッチ位置の構築することができるインターフェースの制作を目的とし検出に使用するものは深度センサ 1 台であるため，低コスている．aトで巨大なサイズのスクリーンにまで対応することが可能	  まず本研究における協調関係を「お互いが相手の行動をである．また TransWall[2]はスクリーンの両側から取り付意識しながら自分の行動を決定している状態」と定義づけけた赤外線フレームを使用してタッチ位置を計測する．そる．この状態を作り出すために，相手の行動を把握するこのため深度センサよりも検出精度が高いという利点がある．とができ，かつ同じ情報を共有することができる透過スク

本研究では協調作業の効率化を図ることが目的ではなく，リーンを利用する．このスクリーンを挟んで 2 人のユーザ

あくまで他者の行動を意識して自分の行動を決定するといが対面状態になり，スクリーンに指をかざしてタッチ操作

う心理的な協調関係を築くことが目的であり，本制作ではを行う形態をとる．本研究では管楽器などの単音楽器奏者

特別な加工やシステムを必要としない比較的簡易で安価なが他者の音を聞き合って和音の響きを作る行為に着目し，システム構築を目指した．そのため両面からタッチ可能な相手と音を重ねることで生まれる和音の協和性を利用して透過スクリーンのシステムは[1]の論文を参考に制作をす

協調関係を築き上げられるようなアプリケーションを作成

る．

していく．	  和音に関する研究としては，和音を定量的に評価するた

2. 関 連 研 究め “協和度，緊張度，モダリティ”の 3 つから構成される	  透明なスクリーンの両面タッチ操作により協調作業を支和音性の評価モデルを構築する研究[3]が報告されている．
また，この和音性を色空間上へマッピングし，入力されたMIDI 信号を分析し色彩表現を行うインターフェース[4]も†1 首都大学東京 システムデザイン学部
Faculty of System Design Tokyo Metropolitan University†2 首都大学東京 システムデザイン研究科
Graduate School of System Design Tokyo Metropolitan University

制作されている．これらの研究は，音楽という複雑な心理物理現象を明らかにするための基盤となるものであり，楽曲の持つ音響的特徴から人間が受ける印象や感性をモデル化することを目的としている．一方，本研究では音楽を楽© 2015 Information Processing Society of Japan552

しむことを目的としているのではなく，他者と 1 つの響き

3.3 シ ス テ ム の 流 れを作る協調体験の支援を目的としている．	  本システムの流れは以下の通りである．
(1) スクリーンの両側にタッチ操作を判定するための領3. 実 装域を生成する．
(2) タッチ領域で物体の侵入を検出し，オープンソース

3.1 概 要の Finger Tracker のライブラリを用いて指先の深度	  システム外観を図 1 に示す．本システムは[1]を参考に制情報を読み取る．

作している．このシステムは 2 人のユーザが透過スクリー
ンを挟んで向き合い，指先をスクリーンにタッチすることで操作を行う．タッチ座標は，スクリーン側面に設置した深度センサによって，ユーザの指先の位置を読み取ること(3) 得られた三次元座標をスクリーン上の二次元座標に変換し，それをタッチ座標とする．
(4) タッチ座標から正弦波の周波数と振幅を決定し，単音として出力する．

で求められる．その情報を元に正弦波の周波数，振幅を割(5) 2 人のユーザのタッチ座標からそれぞれ生成されたり当て，単音を生成してスピーカーから出力する．2 人分正弦波からリサージュ曲線を描画し，プロジェクタの和音が重なったときにできる不協和度を 2 音の周波数の差から算出し，リサージュ曲線としてスクリーン上に可視を通してスクリーン上に映像を投影する．	  システム構成を図 2 に示す．

化させることによって協和性の高さを提示する．
透明スクリーン
深度センサ

映像

深度情報→音↑↑スピーカー

プロジェクターPC

深度センサ↓ 深度情報Processing→ 映像→ 音

図 1・システム外観	  	  	  図 2・システム構成
3.2 使 用 機 材	  本システムは以下の要素で構成される．
l

透過スクリーン:アクリル板に透明なスクリーンフィルムを貼ったもの．ユーザに対して情報の提示を行う．

l

深度センサ:透過スクリーンの側面に設置し，ユーザの指先の深度情報を取得する．

3.4 和 音 の 協 和 性 の 計 算 と 視 覚 化 に つ い て	  和音の不協和度を求める計算は[4]の論文を参考にしている．2 音の周波数𝑓!   ，𝑓! (𝑓!   < 𝑓! )の音程を𝑥!" とし，2 音の音量𝑣!   ，𝑣! の積を𝑣!" としたとき，不協和度𝑑は以下の式で求める．

l

プロジェクタ:スクリーンに情報の提示を行う．

l

スピーカー:情報の提示を行う.

l

パーソナルコンピュータ:深度情報からタッチ点と和	  本研究では和音の協和性をリサージュ図形によって可視

音の不協和度を算出し，映像と音を出力する．

化させている．リサージュ図形とは，互いに直角方向に振𝑑 = 𝑣!" 𝛼! [exp −𝛼! 𝑥!" ! − exp  (−𝛼! 𝑥!" ! )動する二つの単振動を合成して得られる平面図形である．
周波数比と位相差によって模様が様々に変化する図形であ© 2015 Information Processing Society of Japan553

り，主に周波数の測定に用いられることが多い．本研究でリサージュ図形を取り扱った理由については，和音の協和性が周波数比に大きく関係があるからである．和音は一般的に周波数の比が簡単な整数比の場合ほど協和度が高いと言われている．そのため周波数の比によって模様が変化す3) 藤澤隆史，ノーマン D.クック:和音性の計算法と曲線の描き方—
不協和度・緊張度・モダリティー，情報研究:関西大学総合情報学部紀要，25，35-51(2006)
4) 藤澤隆史，ノーマン D．クック，長田典子，片寄晴弘:和音認知に関する心理物理モデル，情報処理学会研究報告[音楽情報科学],
2006(90)，99-104(2006)

るリサージュ図形を用いることで，ユーザが視覚的に協和度の高い和音を作るように自然に行動することができると考えた．実際に体験している様子を図 3 に示す.

図 3・体験の様子

4. 展 望	  本稿ではシングルタッチによって 2 和音による協和性の視覚化を行ってきた．マルチタッチにも対応し構成音を 3つ以上増やすことが可能になれば，不協和度だけでなく緊張度，モダリティという和音性まで計算で求めることができる．それらを活用することで，視覚的な表現の幅を広げることができ，より協調関係を体験しやすくなるのではないだろうか．また，今後の課題としては，本システムにより他者と協調関係を自然に構築できるようになったかどうか，お互いが相手の行動を見ながら自分の行動を決定している状態が見られたかどうかの検証を行うことと，透過ス
クリーンのタッチ精度の向上などが挙げられる．

参考文献
1) 小山雄大，井上亮文，星徹:透過スクリーン側面からの深度情報を用いた両面タッチパネル化システム，情報処理学会研究報告．
GN，[グループウェアとネットワークサービス]，2014-GN-91(41)，
1-6(2014)
2) Hyunjae Lee，Sangyoung Cho，Jiwoo Hong，Geehyuk Lee，Woohun
Lee: TransWall , SIGGRAPH '13: SIGGRAPH 2013 Emerging
Technologies, 2013-7© 2015 Information Processing Society of Japan554