conteXinger:日常のコンテクストを取り込んだ歌声生成
西村

1

綾乃

(指導教員：椎尾 一郎)

はじめに

古くから人々は田植え歌・木挽 (こび) き歌・酒造り歌などの仕事歌を歌ってきた．歌を歌うことにより，労働に対する疲労や苦痛を軽減し，自分を励まし，気分の高揚が得られる．現代の日常生活でも，掃除や料理などの家事の最中に歌を歌ったり，鼻歌を歌ったりしている．また，応援歌のように，他人を励ますために歌われる歌もある．携帯音楽プレーヤーの普及により，歌や音楽を聴きながら移動したり，仕事や家事をすることが一般的になったが，その際に，歌や音楽に応援される気持ちになる場合も多い．
一方，今日では，音楽処理の技術が発達し，ソフトウェアを利用することでその場で生成した歌詞をそれに合わせたメロディで歌わせることも可能になった．
更に，ユビキタスコンピューティングの研究分野では，位置情報やセンサを利用して，人々や物の状況 (コンテクスト:Context) を認識し，可聴化により情報提示したり [3]，効果音により調理を楽しくする研究がある[2],[1]．本研究では取得した生活コンテクストに依存した歌詞の楽曲を自動生成するシステム「conteXinger」を提案し初期段階の実装を行った．

2

図 1: システム構成図
した．

3.1

図 1 にシステム構成図を示す．センサやネットからコンテクストを取得し作詞作曲を行うクライアントコン
ピュータと，VOCALOID が稼働するサーバコンピュータで構成されている．クライアントで作詞作曲された曲は Java RMI を介してサーバに受け渡される．サー
バでは，VOCALOID3 の機能である Job Plugin を利用することで歌を再生する．なお，サーバでの動作の一部は Windows Script Host により実現されている．

conteXinger

conteXinger(コンテクシンガー) は，生活のコンテクストに合わせた歌を自動的に作成し，音声合成により歌声を合成し，歌い上げるシステムである．音声合成にはヤマハ（株）が開発した VOCALOID を使用している．
通常の商業音楽は，一般的に多数のリスナー向けに作詞されている．しかしその中に，たまたまリスナーの境遇に近い状況が歌い込まれていると，強い共感を覚えることがある．それぞれのリスナーの状況を歌詞に取り込んだパーソナルな音楽が安価に容易に作成できれば，日々の生活に楽しさと潤いを与えてくれるであろう．
本システムは，ユーザのコンテクストから個人的な歌詞と音楽を作り出し，VOCALOID を利用して応援歌として歌いあげる．これにより，家事などの日常的な仕事への意欲を増幅することを目指している．また，状況を歌に込めることで，天候，メールの着信，SNSの投稿，歩行中ならナビゲーションなどの情報をアンビエントに提示することも可能になる．

3構成

3.2

コンテクスト取得方法

コンテクストを取得するために，掃除機の状況をセンシングし，Twitter のメッセージを取得した．

3.2.1

掃除機

掃除のコンテクストを取得するために，掃除機にセンサ，マイクロコンピュータ Arduino, 無線ユニット
XBee を取り付けた．クライアントコンピュータにもペアリングした XBee を接続し，無線通信することで，家事作業の邪魔にならないワイヤレスなコンテクスト実装家庭におけるユーザのコンテクストを取得し，これから動的に音楽を作り出すシステムの試作を行った．
歌詞化することで家事を応援できる可能性のあるコンテクストとしては，掃除，洗濯，料理などが挙げられる．これに Twitter，天気予報，メール着信などの状況を加えることで，変化に富んだ歌詞作成が可能になると考えた．今回は，掃除機にセンサを取り付けコンテクストを取得し，さらに Twitter からの情報も取得することで，掃除を応援する歌を歌うシステムを実装
図 2: 回路図

5

4.1

歌詞

Twitter からのリプライは，そのまま歌詞に組み込まれる．これにより，機械による自動生成の歌詞ではなく，人間によって書かれた言葉が歌詞になるため，自然な歌詞の生成が期待できる．掃除機センサから得られるコンテクストに関しては，あらかじめ歌詞を数個用意しておき，「掃除をしている」「掃除をしていない」の２種類のパターンより，その内容に見合った歌詞をランダムで選出している．
4.2

コンテクストに従い，メロディの「調号」「音高」「音価」を変化させる．VOCALOID の仕様により，拍子= 4/4，テンポ = 120 は固定とした．各コンテクスト
種類の違いは「調号」で表現することにした．そこで，Twitter を G-Dur，掃除機を C-Dur, c-moll と定めた．
掃除機に長調と短調を当てはめることで，「掃除をしている」場合（長調）と「掃除をしていない」場合（短調）を表現する．現在の実装では，「音高」「音価」をランダムに選出している．

図 3: 無線センサネットワーク配置図
取得を可能とした．使用したセンサは，電源電流センサと持ち手の加速度を検出するセンサの２種類である．
掃除機の電源ラインにセメント抵抗を直列に接続し，これに生じる電圧でフォトカプラの LED を駆動した．
フォトカプラ出力は Arduino のデジタル入力に接続した．これにより，掃除機の on/oﬀ を検出する．その電子回路を図 2 に示す．
図 3 は無線センサネットワーク配置図を示している．
XBee の各値を取得する時に必要であるシリアル通信を Java で実現するため，RXTX ライブラリをクライ
アント内で利用している．
掃除機には柄の部分に加速度センサを取り付けた．
掃除機のスイッチが on の状態で，加速度センサの値を取得し，加速度が加えられる直前の角度と，加えられた後の角度を比較することで，前後運動の判定をしている．加速度センサの値から，ユーザが活動的であるかどうかを判定することもできる．現時点の仕様では，前後運動があった場合「掃除をしている」と判断し，スイッチが on であるにも関わらず８秒の停止時間があった際は「掃除をしていない」と判別している．

3.2.2

5

まとめ並びに今後の予定

日常生活のコンテクストを取得し，それによる音楽生成について提案し，実装した．現在は，掃除機の on/oﬀと加速度，及び Twitter のコンテクスト取得を行っている．
今後は，多様なコンテクスト取得を可能にし，コンテクストを反映した表情豊かな音楽の生成を目指した
い．たとえば，掃除機の位置を取得することで，掃除をしている部屋に合わせた曲の生成を予定している．
また Twitter 以外に，天気予報，ニュース，メールなどのネット情報を歌詞に反映することも考えていきたい．また掃除機以外の家電製品や日用品への組み込みも進めたい．
コンテクストを音楽にする手法は，家事を応援するだけでなく，日常生活におけるアンビエントな情報提示に役立つと考えている．そこで，将来は，携帯音楽プレーヤーに組み込み，周辺の店舗情報の提示や，ナビゲーションなどへの応用も進めていきたい．

Twitter

クライアントでは，Java のライブラリである Twitter4J を利用して Twitter の情報を取得している．これにより，16 秒に１回の間隔でフォロワーから得られる新規リプライの有無を確認する．このリプライは歌詞に反映される．また，他ユーザによるリプライの発信を促すことを目的として，掃除機の on/oﬀ を確認した場合は「掃除なう」と「掃除だん」を呟く．

4

メロディ

参考文献
[1] Halupka, V., Almahr, A., Pan, Y. andCheok, A. D. Chop Chop: A Sound Augmented
Kitchen Prototype, Advances in Computer Entertainment’12 (2012).
[2] 杉野碧, 岩渕絵里子, 椎尾一郎，家事と食卓を楽しくする「歌うダイニングキッチン」の試作, エンタ
テインメントコンピューティング 2007 講演論文集(Oct. 1–3 2007).

音楽の生成

クライアントは，掃除機センサと Twitter からコンテクストを取得すると，それに従って歌詞・メロディを作成する．曲は１フレーズごとに生成され，取得するコンテクストが無ければ無音となる．コンテクストを適切に歌詞に反映させる方法は，コンテクストの種類に依存すると考えている．ここでは，現時点で実装されている掃除機・Twitter を例にとって説明する．

[3] Yataka, S., Tanaka, K., Terada, T. andTsukamoto, M. A context-aware audio presentation method in wearable computing, Proceedings of the 2011 ACM Symposium on Applied Computing, SAC ’11, New York, NY, USA(2011), ACM.

6