情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C06
2015/3/7

Miku Miku Face: HANAUTAU と顔プロジェクションマッピングによるバーチャル「初音ミク」
竹本 拓真1,a)

片寄 晴弘1

概要：歌唱合成ソフト “初音ミク” は，バーチャルアイドルとして人気を確立しており，初音ミク主演のライブが催されている．しかし現在催されている初音ミクのライブは，あらかじめ用意された映像を流しているだけであり，歌手と観客とのインタラクティブなライブを実現できていない．また平面スクリーンでは前方向以外の映像が無く，観客の視点が一方向に固定され，観客が多方向から視聴するアリーナ形式のライブを行うことができない．本稿では，リアルタイム歌唱生成システム “HANAUTAU” と立体顔形状ディスプレイの組み合わせによって歌唱と歌手の動作を実時間生成し，多方向からの視聴に耐えうるイン
タフェース “Miku Miku Face” を提案する．

Miku Miku Face: Virtual Hatsune Miku
realized with HANAUTAU and Face Projection MappingTakemoto Takuma1,a)Katayose Haruhiro1

Abstract: singing voice synthesizer “Hatsune Miku” has been developed as a virtual-idol. The live of Hatsune Miku starring is held. However, it is only by passing a static animation. So, it impossible to theinteractive live between singer and audience. Addition, flat screen there is no video other than forward.
Therefore, audience viewpoints are limited to one direction, and it is not possible to perform arena style
live the audience view from multiple directions. In this paper, we propose a interface “ Miku Miku Face” toperform generation of motion and singing of the singer in realtime by uesing “ HANAUTAU” and “3D faceshape display”

1. はじめにで存在させる必要がある．現在開催されている初音ミク主演のライブではステージ上に透過スクリーンを配置し，プ歌唱合成ソフトウェア “VOCALOID2 初音ミク”(Cryp-

ロジェクタ数台の映像を透過スクリーン上に重ね合わせてton, 2007) は，歌唱音源の声優起用，アニメ風の身体など映写することで，視認性の高い初音ミクの 3DCG 映像を実のキャラクタ設定の付与により，歌唱合成ソフトとしてだ現している．これにより初音ミクがあたかもステージ上にけでなく，バーチャルアイドルとしても人気を確立してい立っているかのように見せている．歌唱はあらかじめ用意る．一般アイドルと同様に，初音ミクのライブイベント (以した音源を流しており，伴奏は人間による生演奏となって下ライブ) 開催への要望が強まり，初音ミク主演のライブ

いる．

が世界各所で催されている (図 1*1 )．

本来のライブにおける重要な要素として，観客の声に対二次元キャラクタである初音ミクのライブを実現するにする歌手の応答 (アドリブ・トーク・視線) などの，歌手あたっては，実世界上に等身大の初音ミクを何らかの方法と観客とのインタラクション及び，歌手がそこにいると感じる臨場感の高さの 2 点がある．初音ミクのライブにおい1a)*1

関西学院大学院
Kwansei Gakuin University, Sanda, Hyogo, Japan
takumarakan@kwansei.ac.jp
http://oh-news.net/live/?p=97150© 2015 Information Processing Society of Japanて，前者については，初音ミクの歌唱や映像はあらかじめ用意された静的なものであるため歌手と観客とのインタラクションが完全に失われている．後者については，透過ス742

されてしまっている．その為現在催されている初音ミクのライブは全てシアター形式であり，多方向に観客の視点があるアリーナ形式のライブは実現できていない．スクリーンでは存在感や臨場感を充分に再現できない．様々な立体化の手法の中で，存在感や臨場感の高さに関して実世界上に実物が存在することに勝る手法は確立されておらず，ロボットによる実体化が最善であると考える．本稿では，まず歌手と観客のインタラクションにおいて特に重要と思われる，頭部の製作を行う．
図 1

石黒らのジェミノイド *3 など，物理的な構造による初音ミクのライブ風景

ヒューマノイドロボットが開発されているが，顔部分は稼Fig. 1 Live of Hathune Miku

働部が多く複雑に駆動している．顔の動きを細部まで再現するには大量のアクチュエータが必要であり，それに伴いクリーンでは初音ミクの映像が平面であるため，観客が前方以外の場所からみた場合，モナリザ効果*2が発生し，高い臨場感は得にくいというのが現状である．

重量・動作音・消費電力・故障率が増加してしまう．この問題を解決する手法として立倉らは “Mask-bot”[2] を提案している．

本稿では，これらの問題点を解決することで，初音ミク

Mask-bot は立体顔形状ディスプレイの後方からプロジェと観客とのインタラクションを高臨場感で体感できるインクタによる顔映像を映写することで立体的な顔を実体化

ターフェース “Miku Miku Face” を提案する．我々の先行させる手法である (図 2*4 )．これによりヒューマノイドロ研究である “HANAUTAU”[1] により，ユーザの鼻歌と歌ボットの顔に使用されている全てのアクチュエータをプ詞入力によってリアルタイムに歌唱を生成できるシステ

ロジェクタ 1 台に集約することを実現した．また，二次元ムを開発した．これらの機能は歌手と観客とのインタラク

キャラクタの顔は極端にデフォルメされ，物理的な機構でションの再現に有用であるが，本稿では HANAUTAU に，は表現不可能な変形が生じる (図 3)．この点においても立顔の形をしたスクリーンを立体的に成型しそこに顔プロ体顔形状ディスプレイでは容易に表現可能であり，本研究

ジェクションマッピングすることで遠隔者と臨場感のあるでは初音ミクの頭部の実体化に立体顔形状ディスプレイをインタラクションが可能な立体顔形状ディスプレイを組み採用する．既存の立体顔形状ディスプレイでは，頭部の顔込み，ユーザ頭部の 3 次元の動きや表情を取得して初音ミ部分しか作られていない．多方向からの視点でも臨場感をクの視線や仕草を再現することで，臨場感のある歌手と観維持するためには顔だけでなく後頭部まで作りこまなけ

客とのインタラクションの向上を計る．

ればならない．ユーザの頭部の動作や顔の表情をセンシン

2. 本研究のアプローチグし，ディスプレイの首部分に取り付けられたサーボモータと連動させる．また，人間の表情を二次元キャラクタに現在催されている初音ミクのライブは一方的に初音ミクマッピングする際，二次元キャラクタの表情は極端にデが歌い，一方的に観客が声援を送っている状況であり，本フォルメされており同じ部位を連動させるだけでは不十分

来のライブにおける重要な要素が失われてしまっている．

である．本研究では，人間が笑う際の口を横に広げる動作

初音ミクのライブをより高臨場感かつインタラクションのを二次元キャラクタの目を細める動作に連動させることあるライブとするためには，まず初音ミクの歌唱・会話ので，観客との掛け合い時における初音ミクの仕草や表情をリアルタイム生成する必要がある．我々の先行研究である再現しインタラクションの向上を計る．
この機能によって実現されるリアルタイムに歌唱と頭部“HANAUTAU”[1] により歌唱・会話をリアルタイムに生成可能である．

動作を生成するシステムを 以下，“Miku Miku Faceと次にライブ会場のステージ上に初音ミクの身体を存在さ呼ぶ．以下，Miku Miku Face を実装するにあたって利用せる必要がある．現在の初音ミクのライブにおいては透過した技術 HANAUTAU と立体顔形状ディスプレイについスクリーンによりステージ上に初音ミクを映写しているが，て紹介する．

スクリーンがステージの大部分を占有するためその他の演出の妨げになってしまっている．また，透過スクリーンでは初音ミクの映像は前方向のみであり，モナリザ効果やスクリーンの視野角の制約により観客の視点が一方向に限定*2

平面ディスプレイに顔を表示した場合，どの方向から見ても目線があっているように感じてしまう現象© 2015 Information Processing Society of Japan*3*4

大阪大学や ATR が参画する文部科学省グローバル COE プログ
ラム「認知脳理解に基づく 未来工学創成」（拠点リーダ：石黒浩）
において開発された．
立倉らの “Mask-bot”[2] 論文内より引用

743

の研究 [3] により立体顔形状ディスプレイは，人物認識が可能な角度が平面ディスプレイに対して増幅し，モナリザ効果が解消されることが分かっており，立体顔形状ディスプレイは観客に対して平面ディスプレイへの映写以上の高い臨場感を与えることが可能である．しかし，これらの立体顔形状ディスプレイを用いた研究において，どのシステ
ムにおいても顔部分のみの製作だけとなっており，後頭部まで製作されておらず，側面や背後からの視線を考慮していない．

3. Miku Miku Face の実装
図 2

Mask-bot

Miku Miku Face のシステム概要図を図 4 に，見取り図を図 5 に示す．本システムのリアルタイム歌唱合成部分には

HANAUTAU[1] 機能を用いてマイクから鼻歌を，PC キー
ボードから歌詞を入力し，初音ミクの歌唱を生成する．立
体顔形状ディスプレイに背面から初音ミクの頭部 3DCG 映像を映写し，PC キーボードから入力された歌詞の母音によって初音ミクの口を動作させることで，リップシンクを行う．ユーザの首の向き，表情の情報を Miku Miku Face

図 3

二次元キャラクタにおけるデフォルメされた表情

Fig. 3 internal of Geminoid F

2.1 HANAUTAU
我々の先行研究である HANAUTAU[1] は，ユーザの鼻歌によりピッチを，タイピングにより歌詞を，それぞれ与えることによって初音ミクをリアルタイムで歌わせることのできるシステムである．タイピングにより指定された歌詞の音源のピッチをマイク入力された鼻歌から推定した基本周波数にフェイズボコーダを使用してリアルタイムに変更することで実現している．鼻歌によるピッチ指定とする
ことで鼻歌に含まれているピッチに関する歌唱表現をそのまま初音ミクの音源に転写できるため自然な歌唱を生成す

図 4 Miku Miku Face の概要図

Fig. 4 Overview of Miku Miku Face

ることが可能となっている．鼻歌からのピッチ指定であるた細かなピッチ変化が可能で会話の抑揚も再現でき，歌唱だけでなく会話もリアルタイムに行うことが可能である．

2.2 立体顔形状ディスプレイ
立体顔形状ディスプレイとは，人間の顔の形状をした立体的なディスプレイに裏側から実際の人間の映像を３次元映写したものである．倉立らの “Mask-bot”[2] は，顔部分をプロジェクタによる映写とすることで物理的な構造を排除し，ロボット製作にかかるコストを大幅に削減している．

Mask-bot の首部分にはサーボモータが取り付けられてお図 5 Miku Miku Face 見取り図

Fig. 5 Sketch of Miku Miku Face

り，３自由度で話者の仕草や表情を再現している．三澤ら© 2015 Information Processing Society of Japan744

に転写するために，Kinect を使用する．Microsoft 社から首の稼働位置が実際の人間とかけ離れている，顔の前部分提供されている Face Tracking SDK を使用し，ユーザの頭しかいという点が挙げられた．本稿の Miku Miku Face で部をトラッキングし，顔が正面を向いている場合を初期位は首の駆動位置の修正と後頭部まで製作することでこの点置とした 3 軸の回転角度・口の開き具合を検出し，それらを改良し，本バージョンを NT 東京展示会 *5 に展示した．

を 3DCG キャラクタに反映させることで初音ミクの仕草

NT 東京では，否定的な意見はほぼ無くなり，肯定的な意や表情を表現する．

見が多かった．

モデル表示や各モジュールとの通信・制御は Unity によMiku Miku Face はプロジェクタを用いて顔部分を投影り行う．HANAUTAU と立体顔形状ディスプレイは別々しているため，明るい展示会場では顔が薄くなってしまう．の PC により制御されており，ユーザは立体顔形状ディスプロジェクタの性能は頭部に搭載可能な大きさと重量を考プレイの設置位置とは別の場所で HANAUTAU の操作が慮する必要があり，光量を増加させることによる改良が困可能である．PC 間の通信には OSC(Open Sound Control)難であるため，できる限り光量の減衰を抑える必要がある．

を使用した．

高性能な魚眼レンズを使用し，至近距離から顔スクリーン

立体顔形状ディスプレイのモデルは “ままま式あぴミク”に直接映像を映写することで鏡の反射による光量の減少をを使用する．髪・後頭部は 3D プリンタによりナイロン樹排除する方法の検討及び，顔スクリーンの背面投影用塗料脂で出力した後にアクリル塗料により着色する．顔スクの添付量を最適にすることでより精細な映写ができるようリーン部は 3D プリンタにより型を出力し，透明な PET改良していく．また，暗い展示会場では顔がはっきり見え板を加熱した後に型に押し当て PET 板に顔の形状を転写る半面，顔だけが輝いて見えてしまう．照度センサを使用する．顔スクリーンの裏面に背面投影用塗料を均一に添付し，環境光に応じてプロジェクタの光量を変化させる必要する．顔スクリーンの後方に光量 85 ルーメンの小型プロがある．

ジェクタを搭載し，投影距離を確保するために鏡に 2 度反射させ，顔スクリーンに顔プロジェクションマッピングす

5. まとめることで初音ミクの顔映像を映写している．首部分にサー

本稿では，HANAUTAU と立体顔形状ディスプレイをボモータを 3 個取り付けて 3 自由度を確保する．サーボ用いて歌唱と歌手の動作の実時間生成を行うことにより，モータの制御には arduino を使用し，PC とはシリアル通

インタラクティブでより臨場感のあるバーチャル初音ミク信で接続する．サーボモータの最大トルクは電圧 11V 時を実現させるためのインタフェース “Miku Miku Face”をにおいて 41.7kgf・cm であり，本研究では 6V で駆動させ紹介した．立体顔形状ディスプレイを用いた臨場感向上にている．

関する既存研究は実際の人間の顔を対象としているため，4. プロトタイプ展示と検討

デフォルメされたキャラクタの顔であっても同様の臨場感が得られるかどうかについては検証の必要がある．現在

EC2014 学会において Miku Miku Face のプロトタイプ

kinect から取得している表情パラメータを全て使用しきれの展示を行った [4]．EC2014 の展示において気持ち悪い・ていない．今後二次元キャラクタのデフォルメされた表情不気味だなどの否定的な意見が見受けられた．原因としてを人間の表情とどのように関連させるべきか検討し，Miku

Miku Face のさらなるインタラクティブ及び，臨場感の向上を計っていく．
参考文献
[1]

[2]

[3]

[4]

図 6

竹本 拓真：リアルタイムに初音ミクを歌わせるタイプソングシステム「HANAUTAU」とそのアジャイル型開発
事例報告, インタラクション 2014(2014)
T. Kuratate “Mask-bot”: a life-size robot head using
talking head animation for human-robot communication,Humanoids 2011, pp.99-104(2011)
三澤 加奈：LiveMask : 立体顔形状ディスプレイを用いたテレプレゼンスシステムにおけるコミュニケーションの評価，インタラクション 2012, pp.41-48(2012)
竹本 拓真：Miku Miku Face：HANAUTAU と立体顔形状
ディスプレイを用いたバーチャル「初音ミク」，EC2014,
pp.73-74(2014)

プロトタイプ Miku Miku Face と Miku Miku Face

Fig. 6 Prototype Miku Miku Face and Miku Miku Face
*5

© 2015 Information Processing Society of Japan

http://j.nicotech.jp/nt tokyo 2014745