2014 年度第 5 回物学研究会レポート	 「Behind the Scenes」

真鍋大度 氏(プ ロ グ ラ マ ー 、 メ デ ィ ア ア ー テ ィ ス ト 、 Rhizom atiks 主 宰 )2014 年 8 月 22 日

1

BUTSUGAKU	 Research	 Institute	 	 	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	 	 	  	  	  	  	  	  	  	  	 vol.197	 

第 5 回	  物学研究会レポート 	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	  	 	 	 	  	  	  	 	 	 2014 年 8 月 22 日	 	 	  音楽がルーツに根差し、大学では数学を専攻された真鍋大度さんは、現在、プログラマー、メディアアーティストとして活動しながら、さまざまなプロジェクトを実現してきました。現在のテクノロジーの可能性をとことん突き詰めた、問題提起のためのアートプロジェクトや問題解決を行った広告、エンタテインメントの制作、デザインプロジェクトなどの多彩な分野で活躍され、国内外で注目されています。	 	  今回は「Behind	 the	 Scenes」と題し、真鍋さんの活動の根底に流れる思想や制作背景についてご講演いただきます。そのコンセプトや実践は、テクノロジーに密接に関わる製品デザイン、システムデザインにも通じるはずです。	 	  以下、サマリーです。	 	 	 「Behind	 the	 Scenes」	 

真鍋大度 氏(プログラマー、メディアアーティスト、Rhizomatiks 主宰)

01：真鍋大度 氏
関	  今回は真鍋大度さんをお迎えして、デジタルアートの最前線のクリエイションについてお話しいただきます。初めに今日のコーディネーションをしていただきました、坂井さんからご紹介いただきたいと思います。
坂井	  大度さんは、実は私の二男坊と小学校の後半から中学まで大親友だったということを、つい数年前に知りました。当時、おそらくパソコンやファミコンなどで遊んでいたと思うんですけれど、彼が家に遊びに来ていたことにまったく気がつかずにいて、それがこんなに立派な方になるとは思いませんでした。	  真鍋さんは、デジタルアート界の最先端にいる方で、先日も「Perfume Global Site Project」が世界最大の広告祭「カンヌライオンズ 国際クリエイティビティ・フェスティバル」のサイバー部門にて銀賞を受賞されました。それでは、真鍋さん、よろしくお願いいたします。

2

■原点は音楽	  真鍋	  ただいまご紹介に預かりました、真鍋大度です。僕は主にプログラマー、メディアアーティストという肩書きで活動しています。2006 年に Rhizomatiks（ライゾマティクス）社を設立して、最初は 3 人で始めたのですが、現在は 30 名ほどのスタッフがいます。僕の活動のルーツには、音楽があります。父親がベーシストで、母親がヤマハで音楽ソフトをつくっていたこともあって、僕も中学に入るぐらいまではソルフェージュ（楽譜を読むことを中心とした基礎訓練）やピアノを習っていました。	  大学では数学を、主に幾何学系の分野を勉強しました。そのときに少しプログラミングをやっていたので、卒業後は大手電機メーカーに就職して、システムの設計開発をしていました。その後、WEB 系のベンチャー企業に転職したのですが、その会社が廃業してしまい、失業保険で生活しているときに、メディアアートの学校に出会いました。それが岐阜にあるIAMAS（国際情報科学芸術アカデミー）です。現在、行っている仕事のベースになるようなことを、そこでひと通り学びました。	  僕は自分でソフトウェアやインターフェイスを独自につくって使っています。最近、デザインも設計もプログラミングも、何でもこなせるエンジニアという意味の「フルスタック・エンジニア」という言葉が言われるようになりましたが、僕はプログラムを書きつつ、映像、音楽、作曲、照明、アプリなど、ひと通りのことをすべてできるフルスタック・クリエイターでありたい思っています。	  ただ、プロジェクトではすべてを自分ひとりで行うのではなく、僕が音楽をつくってほかの人が映像をつくったり、僕がプログラムを書いて、研究者やエンジニアと一緒に何かを行ったりというように、基本的にはコラボレーションで行っていくので、いろいろなことができるという中でその都度、人との関わり方や役割が変化していくということです。

■アートプロジェクトに重点をおく	  Rhizomatiks では、アートリサーチ＆デベロップメント、アドバタイジング、エンタテインメント、インタラクション、インターフェイスデザインといろいろ書いていますが、さまざまな仕事がくるので仕事内容をひと言でカテゴライズできないところがあります。業務として多いのは、プロトタイプやその実装で、ハードウェア、ソフトウェア、ファームウェアなどもつくります。	  僕らは特にアートプロジェクトを大事にしています。アーティストのために一点ものでつくることが多いのも特徴です。ミュージシャンのライブで使うための新しい楽器や、一回の演出のためだけに機構やシステムをつくったりもします。けれども、それを大量生産して販売するという考えはあまりありません。	  僕らがアートプロジェクトでつくったプログラムや制作する際につくったツールなどは、オープンソースにして、ソフトウェア開発プロジェクトの共有 Web サービス「GitHub（ギ3ットハブ）」などに置いて、誰でもすぐに使えるようにしています。ほかに YouTube や、主に楽曲をシェアするサービスの「SoundCloud（サウンドクラウド）」などでも公開しています。R&D や広告と違って、アートプロジェクトは自分たちのものなので、基本的にソースコードで自由に公開できるのがいいところだと思います。
「4nchor5 La6」はアンカーズラボと読むのですが、クライアントがいないような仕事など、自由に何でもできる研究施設のような場所を会社の中につくりました。思い付いたものをその場でつくったり、それをほかの人とシェアすることもあります。ミュージシャンの方が遊びに来たときには、そこでセッションを行うときもあります。

■セナやカール・ルイスを蘇らせる	  これまで手がけたプロジェクトをいくつかご紹介したいと思います。「Sound of Honda」
は、電通のクリエイティブディレクターの菅野薫さんが考えたアイディアで、1989 年の F1日本グランプリ予選でアイルトン・セナが鈴鹿サーキットの世界最速ラップを出した際に記録された走行データをもとに、セナの走りを蘇らせようというプロジェクトです。	  僕はセナの走行軌跡を LED で表現することを提案しました。また、アクセル開度やエンジン回転数、車速の変化などが書かれた走行データの情報をデジタルデータ化して、実際に鈴鹿サーキットを走ったときのシミュレーションを行うアプリをつくりました。LED をいくつ置けばいいのか、カメラは何台必要なのかということを検証したり、LED が光る速度や見え方なども変えられるようになっています。	  それから僕の担当ではなかったんですけれど、同じその走行データをもとに、セナのエンジン音を再現したり、時速 200 キロから 300 キロほどのスピードで走るクルマを追いかけるカメラ映像なども駆使されました。最終的に、実際の鈴鹿サーキットに 6 キロ近い長さのケーブルを引いて、カメラやスピーカーを何台も置いて、3、4 日間かけて行った大規模なプロジェクトになりました。その映像を見ると、一瞬のうちに光と音が駆け抜けて行って、本当にセナが走っているような臨場感が得られると思います。	  国立競技場の閉会イベントのプロジェクトでも、電通の菅野さんに声をかけていただいて一緒に行いました。僕は、今度は国立競技場で記録をつくったカール・ルイスなどの選手たちをもう一度、走らせることを提案しました。F1 のクルマと違って、スポーツ選手の場合は身体性を再現する必要があるので、LED ではなく、AR（拡張現実）を使って実写の映像にCG を合成するという方法をとりました。	  実写の映像は 2 次元なので、それを 3 次元的なものに変換するのは、実はすごく難しいんですね。そこで人間らしい動きを再現するために、関節が動くクマリオンというマリオネット型の入力デバイスを使って、少しずつ動かして 1 コマずつ撮影するという、気の遠くなるような作業を 20 人体制で行いました。また、当時のカメラの光学やズームの特性などを分析したり、選手を撮影していたときにカメラの位置がどこにあったかということを推定するためのソフトも Rhizomatiks でつくりました。

4

■使った技術を応用していく	  今、この 10 年間ぐらいのプロジェクトで使った技術、機材、ソフトウェアなどを相関図にしてまとめているところです。毎回、すべて新規につくるわけではなく、過去につくったものを流用したり、応用したり、発展させたりしています。たとえば、キリン「氷結」の Perfumeの CM では、ディズニーランドの「ホーンテッドマンション」などで使われているペッパー
ズ・ゴーストという古い技術と指のトラッキングを組み合わせました。	  Perfume の指先には再帰性反射マーカーが付いていて、それを 6 台ぐらいの赤外線カメラで位置をトラッキングするんですが、彼女たちとカメラの間にはフィルムがあって、床に映し出された映像がそこに反射します。彼女たちが手を動かすと、あたかも指先から LED の光が出て、それが宙にラインになって描き出されているように見えるという仕掛けになっています。	  さらに、キリン「氷結」で使った技術を少し進化させて、東京オリンピック招致のプレゼンテーション時に太田雄貴さんの背景で流れる映像にも使用しました。フェンシングの剣先をトラッキングして、剣の動く軌跡を LED の光のラインで表現しました。その後も発展系を探すために、靴の中にいろいろなセンサーを入れて、重心や筋肉が収縮するときの信号なども多彩な光で可視化して表現しました。	  同じシステムを使って、ヘリをトラッキングして、ダンサーの方にヘリと一緒にパフォーマンスしてもらうというプロジェクトも elevenplay、MIKIKO さん、Rhizomatiks で行いました。僕はダンスやライブステージでのパフォーマンスなどのプロジェクトを多く手がけていますが、それは僕自身が好きだからというのが一番の理由です。またミュージックビデオなどは何度でもやり直しができますが、こういうライブというのは一発勝負なので、リスクが高いため技術的にとても難しく、ステージは総合芸術ということもあり参入障壁が高いと思います。その結果、国内では Rhizomatiks 以外にリアルタイム処理の多いチャレンジを行っているチームはありません。

■筋電センサーを使った実験	  最初の頃はダンス作品の楽曲と照明を制御するシステム開発を担当していて、その頃はまだダンサーの動きとインタラクティブするということは行っていませんでした。コンテンポラリーのダンサーというのは、いつも面白いことを考えているなと思うんですけれど、2003
年頃、ダムタイプのダンサーである川口隆夫さんとダンスのパフォーマンスの楽曲をつくる機会があったんですね。	  川口さんから「身体全体は動いていないけれど、筋肉だけが動いているダンスの作品をつくりたい」と言われたんです。そこで、筋肉の動きをセンサーで検出すればできるのではないかと思い、筋肉が収縮するときに発生する微弱電流を計測する「筋電センサー」を使ってみようと考えました。当時は 3 万ドルぐらいしたので、照岡正樹さんという生体工学に詳しいエンジニアの方に自作してもらいました。

5	  カメラで手の動きをトラッキングすると、手が動いてから音が鳴って、映像が変化します。
一方、筋電センサーは筋肉が収縮したときの信号を使っているので、手が動く前に音が鳴ります。つまり、遅延がないどころか、動作よりも先に音が鳴るというわけです。これをダンサーに付けてもらって、パフォーマンスしてもらいました。その後も筋電センサーを使ってグーグルアースを手で動かしてみたり、エアギターのようなものなど、いろいろなことを試みました。	  2008 年頃に仕事に煮詰まったときがあって、そのときに自分の身体でやってみようと思って始めたのが、筋電センサーを使って顔をコントロールするというものです。音楽信号を電気刺激に変換して顔の筋肉を動かしたり、人は顔の左右を非対称に動かすことが難しいので、普段はできないような顔の表情のパターンをつくって高速に動かすという実験を行ったりして、YouTube にアップしました。	  当時は YouTube にいろいろと動画をアップしても、そんなに話題にはならなかったんです
けれど、この映像は 100 万回以上再生されて、CNN やディスカバリーチャンネルなどで「YouTube スター」とか、「日本を代表する変人」などと紹介されました。真似する人もたくさん現れて、YouTube にたくさんアップされました。この回路やソフトも公開して、誰でもつくれるようにしました。

■構想中のプロジェクト	  まだ構想段階のプロジェクトをいくつかご紹介したいと思います。この映像は、大きな磁石を頭に当てて電流を流して、脳の言語野を止めるという実験を行っているところです。すると、その人は同じ発音を繰り返したり、言葉がつかえたりするんですけれど、僕はこの装置を使ってラップユニットのようなものをつくりたいと考えているんです。おそらくとても高価なもので買えないと思うので、自作もできるようなのでいつか試してみたいです。	  ほかには、MRI 装置を使って脳活動を調べる fMRI（機能磁気共鳴画像法）のように脳をスキャンして、そのデータと機械学習技術を使った実験をしてみたいです。先日、ATR という研究所の神谷先生にお話を伺って可能性を感じました。でも、僕は医学的な免許を持っていないのでできずにいて、モヤモヤしているところです。	  それから筋電センサーを使って顔の筋肉を動かす、僕の YouTube の映像を見て興味を持ってくれた聴覚障害のダンサーが会社に遊びに来てくれたんですね。聴覚障害者というのは、普段は主に振動で音を感じているそうなんですけれど、音楽は振動だけではかなり限られた帯域しか体験できないそうなんです。	  彼は今までは踊れる人を隣に置いたり、振動で音を感じながら踊っていたそうなんですが、やはり音楽で踊りたいとずっと思っていたそうなんです。そこで筋電センサーの装置を使って踊れないかということで、彼と一緒に 2 年ぐらい実験しています。背中に 4 カ所、電極を付けて刺激して、それを手がかりに踊ってもらいました。

6	  音楽信号をできるだけ忠実に電気刺激に変換しようと思ったんですが、それでは複雑すぎて踊れないというんですね。音楽というものが思っていたよりも複雑だったという発言はハっとさせられました。でも、その後、何度も試みているうちに、次第に音楽として体験できるようになっていきました。最近、ようやく 1 回目のパフォーマンスができたところですが、まだまだ課題が残っているので、少しずつアップデートしていきたいです。

■ファンとの新しいコミュニケーション方法	  「Perfume Global Site Project」は、ファンとの新しいコミュニケーション方法を模索するためのプロジェクトです。そこでどういうことをすればいいかと考えたときに、思い浮かんだのがオフィシャルの PV をファンの人たちがつくり直す「MAD（マッド）」です。これは楽曲や振り付けなど勝手に使用しているので、オフィシャル的にも著作権法的にも NG だったと思うんですね。でも、こういうカルチャーというのは誰もが面白いと思っていて、「Perfume Global Site Project」を立ち上げてオフィシャルで行うことを提案したんです。	  モーションキャプチャーの技術を使って、Perfume のダンスを映像化してデジタルデータにしたものを「Perfume Global Site Project」の Web 上で配布しました。翌日から早速、そのデータをもとに作成した初音ミクや Minecraft（マインクラフト）などのキャラクター、オリジナルもありつつ、プロの映像作家なども含めて、ものすごい数のさまざまなキャラクターがネット上で Perfume のダンスを踊り始めました。	  その数ヶ月後、最終的に海外初のライブで Perfume がそのダンスを踊っているところが初めて見られるという、数ヶ月間かけて行った大掛かりな演出でしたが、大成功を収めました。
これは僕にとって、いかにファンの人たちに参加してもらうことが大事かということが改めてわかったプロジェクトでした。その後もこうしたプロジェクトをいろいろ行いました。	  昨年行われた東京ドームでのライブに向けて、Perfume の楽曲しか聴けないプレイヤーを2bit 君、ワタシマ君というプログラマーにお願いしてつくりました。ランキングやトレンドなどもわかって、ファン同士がコミュニケーションできるようになっています。そのときに任意で自分の位置情報がわかる GPS データも一緒に上げてもらって、それを可視化するアプリもつくりました。ライブ当日は、みんなこのアプリを立ち上げながら来るので、たくさんの人たちが方々からドームに集まっていく様子を可視化して、ライブのイントロの映像で流すという演出を行いました。	  また、今、「Perfume World」という、Perfume のアバターが住む Web サイトもつくっています。この中で街がつくられていて、そこにファンの人たちがそれぞれ面白い家をつくっています。この後もいろいろストーリーが続いていくんですけれど、ライブのツアーの途中なので、種明かしはまだできなくてすみません。これはライブと Web サイト、スマホ、3Dスキャンなどを関連付けて、新しいライブの演出方法を考えていくというプロジェクトです。

7

Q&A	 	 Q1: 	  美大を卒業されていないということですが、どのようなところからインスピレーションを得たり、ソースなどを発想しているのですか?	 
A： 	  僕は IAMAS で学んだり、東京芸大で講師をした経験もあるので、一般的なエンジニアの方に比べると、美術系のバックグラウンドがある方だと思います。インスピレーション
は、たとえばシーグラフで発表された論文のようなペーパーなどを読んで得ることが多いですね。あとは今、ネットで何でも手に入るので、とりあえず興味がある表現や技術があったらとにかく調べるんですが、そこからソースを発想することもあります。

Q2: 	  大学で数学の勉強をされてアートの道に進まれたというのが面白いと思います。なぜ数学を勉強されたのかということをお聞きできればと思います。	 
A： 	  僕は大学でかなり落ちこぼれていたんですけれど、今の仕事で数学はそんなに使うことはありません。アートの道に進んだのは、やはり音楽の影響が大きいですね。もともと僕はバンドや DJ をやっていて、それで成功していたらその道に進んだと思います。やはり今も音楽と関わっていたいという気持ちが強いので、仕事も音楽関係のものが多いです。耳コ
ピや楽曲を聴いてデータ化することはわりと簡単にできますし、そのデータを使って光のパターンをつくるというのは、普通の照明デザイナーの方はできないと思うので、そういう部分で音楽をやっていた経験が生かせているかなと思います。

Q3: 	  ご自身が楽しいことと、ファンを楽しませるということは違うと思うのですが、どのように考えを切り替えてつくっていらっしゃるのでしょうか?	 
A： 	  僕のサイトを見ていただけたらわかると思うんですけれども、Perfume、ティモ・マース、スクエアプッシャーなどのプロジェクトをやっていますが、みんな僕自身がファンなんですね。好きだからこそ、どういうものをつくったらうれしいかということがわかるので考えられるというところがあります。ですから、僕は自分が好きではないアーティストや音楽の仕事は、ファンとしての気持ちがわからないのでお引き受けしないケースが多いです。

Q4: 	  技術的な制約などが出てきたときに、それをジャンプ台のようにして、それまで思いつかなかったところにいきつきたいと思うんですけれど、そういうご経験はありますか?	 
A： 	  Perfume のプロジェクトの場合で言うと、こちらサイドの問題なのですが技術的な問題で発表できないものは結構あります。バックアッププランは常に走らせておいて、第一希望ができなかったら、第二希望をやるというふうにしているんですが、実現できたのは第二希望のものが多いですね。強い信頼関係があって初めてできる体制だと思います。それから

8プロジェクトには締め切りがあるものとないものがあるので、締め切りがないものは何年もかけて取り組んで、完成したときに自分のタイミングで発表するということもあります。

Q5:	 

プロダクトデザインでは、プロトタイプやスケッチなどで構想イメージを描きますが、イメージを具現化するためにエスキスなどはされますか?	 
A： 	  いわゆるスケッチなどもプログラムで書くんですけれど、その書いたモジュールはそのまま使えるので、その段階から設計が始まっていることになります。制作の共有は「GitHub（ギットハブ）」などを使いますが、制作の途中段階でプログラムをムービーに書き出して、ビデオ映像などで見てもらうということもあります。

Q6: 	  クライアントがオープンソース化するコンテンツを有料にしたいとか、興行収益以外のことでも収益が上がりそうだから協力してほしいなどと言われることはありますか?	 
A： 	  マネタイズのことは常に話に上がりますが、それがいやらしくない形でできるのであればいいと思いますけれど、センシティブな部分なのでなかなか難しいと思います。今のところ、クライアントからそういう要求はないんですけれど、僕は何でもオープンソース化したがるので、「それは公開しなくてもいいんじゃないですか?」と言われることはあります。
黒川	  プロジェクトはいつもどういうふうに進めていらっしゃるんですか?
真鍋	  ひとつのプロジェクトを 4、5 人くらいで行っています。僕自身はいつも 2 つくらい抱えています。みんなそれぞれのプロジェクトを行っていて、競合関係をチェックする以外、実はみんなが何をしているかそんなによく知らないので、会社としては効率が悪いと思います。車輪の再発明も良く起こるので改善したいのですが、エンジニアとしては自分で実装してみたいという気持ちがあると思うので、強く否定はできないというのが本当のところですね。自分のプロジェクトの進め方で言うと、何も言わなくても役割分担が自然に決まっていくことが多いです。皆がどういった部分が得意かというのはそれぞれが把握していますし、彼があの辺を書いているから、僕はこの辺を書こうかなというふうに、それぞれの行動を見ながら進めていきます。
黒川	  創作するということに関して、アーティストがひとりでつくり上げる行動とも違いますし、組織的にみんなで手足になって助けあってというのとも違いますし、それぞれの電波が無意識のうちに通じ合いながら進んでいるような、組織論としてもひじょうに興味深く思います。ありがとうございました。
以上92014 年度第 5 回物学研究会レポート	 「Behind the Scenes」

真鍋大度 氏(プログラマー、メディアアーティスト、Rhizomatiks 主宰)	  写真・図版提供
01；物学研究会

編集=物学研究会事務局
文責=関 康子●	 ［物学研究会レポート］に記載の全てのブランド名および	  商品名、会社名は、各社・各所有者の登録商標または商標です。
●	 ［物学研究会レポート］に収録されている全てのコンテンツの	  無断転載を禁じます。

(C)Copyright 1998〜2014 BUTSUGAKU Research Institute.

10