報告

アバターとアイトラッキングによるライブ演奏システムの考案
Inventing a Live Performance System Using Avatars and Eye Tracking

加茂 文吉

KAMO Fumiyoshi

日本工学院八王子専門学校ミュージックカレッジ / 東京工科大学大学院 / デジタルハリウッド大学大学院
Nihon Kogakuin Music College / Tokyo University of Technology, Graduate School / Digital Hollywood University, Graduate School

ALS（筋萎縮性側索硬化症）などの身体の自由を奪う病気は、人間から外出の自由を奪うだけではなくエンターテインメントなどの人生の楽しみを奪ってしまう。一方で、健常者であってもギターが弾けるようになるには指や腕が精度高く動くなど、音楽性の他に身体性を伴う必要がある。視線入力装置とアバターパフォーマンスを組み合わせることで身体の制約を取り払い、その先にあるコード進行をうまく並べて作曲したりなどの創造にもつながっていくシステムを考案した。本稿では、提案するシステムの持つ可能性について報告する。

1. はじめに背景の中、視線入力の技術と VTuber を活用して、ギター演奏による

1.1 ALS の課題と対策音楽パフォーマンスや音楽創作をする方法を考案することにした。

ALS などの身体の自由を奪う病気は、人間から外出の自由を奪う

1.2 視線入力による演奏だけではなくエンターテインメントなどの人生の楽しみを奪ってしまう。 祖父江は、ALS は運動神経が損傷し、脳から筋肉への指令

視線入力装置を活用するための装置を動かすソフトについて伊藤はが伝わらなくなる疾患であり、その原因、発症のしくみは解明され「視線入力ソフト」と定義付けし、大きく分けて「意思伝達用」「訓練用（学習用）」「計測用（研究用）」の 3 タイプがあると述べている [2]。意思ておらず、根治療法は未だにないと報告している [1]。日本における患者数は約 1 万人（2014 年度）で、毎年 1,000 ～ 2,000 人が新た伝達用は、スクリーンキーボードを使って視線で文字入力を行う。訓練用に診断されている。伊藤は、視線入力の技術は福祉分野においては（学習用）は安定した視線入力を行うために、見て楽しむ、見て遊

比較的新しく、重度障害者のコミュニケーション環境を飛躍的に豊ぶことを通して見る力を育む。計測用（研究用）は、視線の動きを。さらに、視線入力計測しヒートマップなどで履歴を表示するが、音楽の演奏には即応装置はここ数年で価格が下がり、安価で購入できるようになってき性が必要とされるため、意思伝達用のソフトが必要になるが、キーかにする可能性を秘めていると報告している[2]。本間は「マイボイス」というソフトウェアボードを使った文字入力などでは演奏が間に合わない。待木は、知的の開発を通じ、気管切開をした ALS 患者に、自分の声で話すことを障害を併せ有する肢体不自由児が視線でマウス操作を行う状況下にているとの報告がある[3]

続けてもらう取り組みをしている[4]。「マイボイス」は、気管切開をおいてコミュニケーション手段として用いて意思決定などを行う場する前の段階で ALS 患者の声を録音しておき、気管切開後は、パソ合は、ある程度の大きさの対象物に視線を移動させ、その上で視線コンの音声読み上げ機能と連動させ、録音しておいた声を再生するを停留させる必要があり、この「移動 - 停留」ができるようになるたことで、「その人の声」で話すことができる、というソフトウェアであめにトレーニングが必要であるが、それに加えて、クリック操作にる。
この機能を活用し、プロのマリンバ奏者に一音一音マリンバで「ド」なるまでに必要な視線を停留させる時間の長さなど、ソフトウェア「レ」「ミ」を弾いてもらった音を録音し、バチが軽くセンサーに触の調節が必要になり、意識して停留させることが難しい児童の場合れるたびに、演奏する曲の楽譜に書かれている音符順に、録音されは、この時間を短く設定することで、児童が画面を注視する時間がた音が 1 音ずつ再生されるようにした事例も報告されている[4]

短くてもクリック操作へ変換することができる可能性があると報告。

している [7]。佐久間は、プロの演奏では出したいと思った時間軸上白井は、VTuber 事業は、アニメーションやゲーム、ライブ配信など、多岐にわたるエンターテインメント技術が必要とされる分野であり、の任意のポイントに音が出せることが重要であると主張している [8]。

それらを構成する技術要素はゲーム開発におけるリアルタイム 3D

よって、視線を停留させて意思決定をするという方式では演奏を実グラフィックスや、モーションキャプチャー、サーバー技術などがあり、行することは困難であると考えたうえでシステムの考案に着手した。

加えて、ライブ・エンターテインメントに適したモーション生成や、演者支援、ディスプレイ技術、インタラクション技術、人工知能応

2. システムの考案

用、キャラクター設計、エモーション分析、視聴者文化の調査分析

2.1 視線入力による演奏など多岐にわたっていることを報告し、このような新しい分野の研図 1 は、考案したシステムの全体像を表す。筆者が左手で抱えて究開発は既存の企業内 R&D 手法だけでは問題分析や課題解決が難いる楽器はベースであり、ギターではない。このことは後述する。人間

しく、産学連携やスタートアップ企業との連携などを通して、最先端の目の前にあるノート PC には視線計測器をセットアップしている。の技術や手法を実装していくことが世界的なスタンダードとなりつつ視線計測器は Tobii 社などが開発している。日本においては、株式あると主張している [5]。また、株式会社ユーザーローカルが、パソ会社クレアクトが視線計測器の輸入を行っている。重度障害者用意

コンと Web カメラだけでソフトウェアをインストールすることなく、思伝達装置「TC スキャン」に、視線入力装置である Tobii Dynavox

Web ブラウザからすぐに画面内の VRM キャラクターにリアルタイム社の「PCEye5」と接点式入力装置である AbleNet 社の「Jelly Bean反映させ、VTuber になることができる「ユーザーローカル Webcam

Switch」を Windows のノートパソコンや PC 用ディスプレイに取りVTuber」(https://vtuber.userlocal.jp/)を無償で提供を開始し[6]、付け、USB ケーブルで接続するだけで視線入力ができるようになる。

VTuber 技術が広く普及する可能性が高くなっている。このような©︎2022 Digital Hollywood University

52

DHU JOURNAL Vol.09 2022

行い、歌手は、自身の PC を用意し、「ユーザーローカル Webcam
VTuber」(https://vtuber.userlocal.jp/) を使用してアバターをコントロールしながら歌唱を行う。ギターと歌の音声は、歌手の PC に接続したオーディオインターフェースに入力し、そこから画面共有をして Zoom にアバター映像と音声を送る。そうすれば視聴者からは、アバターがギターの伴奏で歌っているパフォーマンスが見えることになる。著者が図 1 の左手で抱えているベースで、視線入力を行いながら左手のタッピング奏法だけで補助的に演奏を行った。

3. おわりにアバターを使うことによって、自分という個人を分人にして新たな表現ができることに重きを置いた。また、この技術を使えば指が動か
図1：考案システム全体図

ないと演奏が困難なギターを誰でも簡単に演奏できるようになる。

ギターの演奏には、コードネームが重要である。コードネームを軸につながっていくと考えているので、このプロジェクトを今後さらに身体の制約がなくなることによってその先にある作曲等の創造にも進めていきたい。

して和音の伴奏を行い、その先には、スケールに基づく単音のギターソロ演奏なども考えられる。加茂により、コードネームからギタース謝辞

ケールダイアグラムを自動生成するアプリケーションの開発が行われている [9]。視線入力でコードネームを演奏する場合、いくつかの条件

野村大輔様、菜那様、谷川晃大様、松本貴也様、デジタルハリウッドを満たす必要がある。

大学事務局、（株）クレアクト様、白井暁彦先生、藤井直敬先生に深く・楽曲で演奏するコードネームが画面上にあること感謝を申し上げます。

・各コードに視線を移動させると音が演奏されること・指定したテンポに基づき演奏されること

参考文献

・視線を合わせた瞬間に演奏が始まること[1] 田辺三菱製薬，祖父江元: "ALS最前線 Vol.1 ALSの現状と展望"・視線を移動した際に、前のコードの演奏が止まらないこと

https://als-station.jp/recent_situation_01.html (参照2022年

・休符を演奏する方法が存在すること8月1日).

・多彩な表現のためにコードの種類が豊富にあること[2] 伊藤史人：『ローコスト視線入力装置による意思伝達環境の構築

・多彩な表現のために伴奏のパターンを変更できること

およびマニュアル作成』日本ALS協会，平成28年度「ALS 基金」研究・多彩な表現のために伴奏の音を変更できること

奨励金報告書(2017年)，3頁,10．
[3] 伊藤史人: "身近になった視線入力装置" https://www.poran.net/

これらの条件を満たすアプリケーションとして、Chord Worker

ito/download/nambyozaitaku_201602 (参照2022年3月1日).

Type p.e.a（ 考 案 / 企 画 : 加 茂 フミヨ シ、 開 発 : Diatonic code）[4] 一般社団法人日本作業療法士協会，本間武蔵: "この声が、いまのを 図 2 の よ う に 考 案 し た [10]。p.e.a と は performance with eye

自分の声なんです" https://www.jaot.or.jp/ot_job/to_live/detail/36/

tracking & avatar の略語であり、Diatonic code が開発していた(参照2022年3月1日).

Chord Worker に、 上 記 の 機 能 を網 羅して 搭 載してい る。 視 線 を[5] 白井暁彦：『グリー株式会社／REALITY株式会社

PCEye5 により入力したら、任意のタイミングで図１の人間が右手

Studio Laboratory』日本バーチャルリアリティ学会誌（2020年），

親指にて「Jelly Bean Switch」を押すと即時に音が Chord Worker

44-45頁．

Type p.e.a より出力されるしくみである。音は PC 内のオーディオ[6] ユーザーローカル: "ユーザーローカル、人工知能技術を使ったか、MIDI データを選択可能になっており、多彩な表現のために伴奏

無料VTuberシステムを提供開始" https://www.userlocal.jp/の音を変更したい場合は、MIDI データを別マシンの DAW に送ってpress/20220128vt/ (参照2022年3月1日).

GREE VR

ギターシンセサイザーなどを鳴らせばギタリスト同様の表現を行う[7] 待木浩一:"知的障害を併せ有する肢体不自由児のコミュニケーことが可能だ。

ション 指 導 に お け る 実 践 研 究 ─ 視 線 入 力 装 置 の 活 用 を通して─ "http://www.nise.go.jp/cms/resources/content/13012/02_
fukuoka.pdf (参照2022年3月1日).
[8] 佐久間正英：『直伝指導！ 実力派プレイヤーへの指標』リットー
ミュージック（2013年），24-57頁．
[9] 加茂文吉『ギターレッスンのためのギタースケールダイアグラムを自動生成するアプリケーションの開発』DHU JOURNAL Vol.07
2020（2020年），75-77頁．
[10] 加茂フミヨシ、谷川晃大、松本貴也:"Chord Worker Typep.e.a" https://e-chordworker.diatonic.codes/app.html (参照2022年6月1日).

図2：Chord Worker Type p.e.a2.2 演奏の形態
今回の企画では、歌手 1 名と、ギタリスト 1 名というユニット形式を想定した。ギタリストは、Chord Worker Type p.e.a にて演奏を©2022 Digital Hollywood University53

DHU JOURNAL Vol.09 2022