g e i daiRAM
OPEN LECTURE vol.10—（ 代替現実）技術

現実と仮想の

境界が

なくなる？

藤井 直敬

SR

やりました。大学院を出て、指導教官に留学したいと話したら、紹
日時｜ 2015 年 1 月 30 日（月）介されたのがボストンにある MIT、マサチューセッツ工科大学でし

会場｜東京藝術大学上野校地中央棟第 3 講義室た。神経科学、ニューロサイエンスをアメリカで６年半くらいやって、
これは眼科に戻れないと思い、そのままアメリカに残ろうかと考えましたが、英語で教育や競争をする自信がなく、たとえば自分が 10

桂：この geidaiRAM は、東京藝術大学大学院映像研究科が 2014 年の力を持っていても英語のせいで 8 しか出せなかったら同じ実力の度から文化庁の人材育成の委託事業として行っていて、「リサーチ型

人に負けるわけですよね。それは効率が悪いと思い帰って来ました。

プロジェクトのための人材育成事業」が正式名称です。研修生２０

それが２００４年で、理化学研究所に行きました。そこで複数のサ名と運営してきました。オープンレクチャーは、基本的に研修生がルを対象に両者の関係に応じて行動が切り替わる仕組みを通じて社

企画・開催するもので、今日は柿沼さんが藤井直敬さんをお呼びし会性の研究をしました。脳のなかに電極を実際にいれて脳の活動をて開催するはこびになりました。

記録する研究で、今年で 11 年目です。大体ぼくは 10 年くらいで次のことをやりたがるみたいです、振り返ると。それで去年 SR という

柿沼：研修生の柿沼です。geidaiRAM のプロジェクトは社会の課題

技術を世の中に広めようと思い SR ラボという会社を作り、さらにそに取り組むアートということで展開されています。今回は「社会」の中のプロダクトとしてハコスコというのを売り出し、ハコスコとに焦点をあてたレクチャーを企画しました。柿沼が企画、デザインいう子会社を作り今日に至ります。

はスタッフの和田、広報は研修生の小形、記録も研修生の飯岡です。
SF の世界では
Substitutional Reality の技術が生まれるまで
僕は SF がすごく好きで、それが SR を作る大きな根元になっていま
藤井：僕はもともとサルをつかった神経科学の研究、特に社会性のす。高校生のとき、1982 年に『トロン』という映画がありました。

研究をやっています。そこから、「社会」という切り口でお話をとお最近リメイクされたディスニーの映画です。『トロン』は現実の世界

願いをされたのですが、社会性の脳研究にだんだん飽きてきて、全とコンピューターの中のサイバースペースの境界を取り払って人がく情熱がない感じの話をすると申し訳ないので、一回お断りしたのコンピューターのなかに入る話です。その意味で現実と仮想の境界

ですが、じゃあ何に興味があるのかと言われ、今日お話しする SRを取り払うことをテーマにした映画です。それを観た高校生の僕はに関してだったらお話しできますと。タイトルは「現実と仮想の境すごく興奮しました。こういう世界がいつかやってくればいいなと界はなくなる？」、それを実現した技術が SR 技術、‘Substitutional

思いました。僕はたまたま医学部に行ったので、工学的なアプロー

Reality’、「代替現実」と呼んでいます。

チからは遠ざかりましたが、頭のいい工学の人たちがこういうこと

僕は 1965 年に広島で生まれました。今年ちょうど 50 歳。東北大を実現してくれるにちがいないとずっと思っていました。ところが

学を卒業して眼科医になりました。眼科は、顕微鏡を使った小さい

そういう時代が一向にやってこないのが非常に不満でした。その『ト手術、マイクロサージェリーをやりたくて選びました。当時東北大ロン』のトレーラーを観てみたいとおもいます。（映像）当時の最先学でマイクロサージェリーができるのは脳外科と整形外科と眼科だ

端の CG を使っていますが、今だったらスマートフォンでももっとけで、脳外科は人が死ぬし体力がいる。無理だなと。そのころ腰がいいものができる。

悪かったので。整形外科もいいかなと思いましたが、整形外科の先30 年近くたっても全然そういうものがでてきませんでした。82 年

生に聞くとやめとけって言われて、「なんでですか」と聞いたら「俺のあとにも仮想と現実の境界を取り払う物語はたくさんあった。たたち骨大工だから」と。実際手術に入ると、鑿とハンマーで、それとえばウィリアム・ギブスンが書いた『ニューロマンサー』。あとはも向いてないなと。眼科を大学院も合わせてだいたい６年から７年『攻殻機動隊』や『マトリックス』、このあたりが有名ですね。『インg e i d a i R AM

OPEN LECT U R E v o l . 1 0

1/11

セプション』は夢と現実の間、しかも夢が階層的になっていて、夢カーを使っていますが、カメラ越しにマーカーを見るとそこにオブをいったりきたりし、現実と区別がつかなくなる話。あとは『パプジェクトが見えて、マーカーが動くとそれに応じて映像も動くのでリカ』。この辺はアバターを使ったリアルマシンインターフェイス的

なんとなくそこにあるように見えます。でも本当にそこにあると信な内容です。

じる人は誰もいない。なので、従来の AR、VR という技術を通じて、

ぼくはサルを使った実験でもリアルマシーンインターフェイスの研本当にそこにリアリティ、現実を感じる人がいるかというと多分い究をしていたので、ここはサルの研究ともオーバーラップします。

ないです。没入感というのは確かに作れる。自分がその世界に放りまだ現実的に誰でも使える技術にはなっていません。ではこういう込まれたという感じの没入感はある程度高い。だけど本当に目の前映画のなかでどのように現実と仮想の関係が使われているか。これにそのオブジェクトや、見えているものの存在を感じさせる技術はが『マトリックス』です。（マトリックスの映像）次にこちらが『イ今までなかった。つまり従来の VR、AR というのは、現実と VR、

ンセプション』です。『インセプション』は現実から夢の世界へ行っ

AR の世界に明らかなギャップがある。そのギャップを埋めるというて、さらにそこから別の夢に行く。階層状の夢を操作することがでことに従来の技術は成功していなかった。

きるのです。面白いのは、夢はいつ始まったのかわからない。夢を見ていると気づくことはあります。でもいつ始まったのかわからな

SR とはい。あとから出てくる SR でも同じです。これは最後のシーンです
いが、本当は死んだはずの奥さんがいる。この夢の世界であなたがそこで僕らが開発した SR という技術の話をします。別に僕らは VR、信じている現実とは何か、本当はこっちが現実であなたが信じていAR の専門家ではないですし、仮想と現実の境を取り払ってやろうとるものが嘘かもしれない。この最後の台詞がすごく大事で‘What do

狙ったわけではなく、別の目的で作ったらうまくいったというのが

you believe and what do you feel?’信じていることと感じているこ

正直なところです。SR とは‘Substitutinal Reality’、「代替現実」のと、これが現実を作っている。『マトリックス』とか『インセプション』

略です。いまサセックスにいる鈴木啓介くんとうちのチームの脇坂の世界が本当に私たちの世界に入ってくる、もしくは実現されると

くん、この二人で作ってくれました。最初のプロトタイプができて思う人はいますか？

から４年くらいです。SR って何をするのかというと、視覚と聴覚、

バーチャルリアリティとかオーギュメンテッドリアリティ、ミックス

この二つをハックします。そして一番大事なのは、私たちの、「これリアリティ、VR、AR、MR という技術が、いま『マトリックス』とか『イが現実だ」と信じている確信、これを操作します。従来の VR、AR

ンセプション』とか、現実と仮想の境界を操作するコア技術だと思は体験者の確信や主観的な現実に対するイメージ、確信度、そうい

われています。僕はさっきからなかなか現実と仮想の境界を取り払っうものをあまりターゲットにおいていませんでした。ところが僕らてくれないと不満を言っていますが、実はこういった技術は１０年

にとってはそれが大事なので、やってみたらうまくいった。SR のデや２０年前に始まったものではありません。これは 1968 年にアイバイスは今はそんなにセット数はないんですけど、こんな感じのヘッ

バン・サザーランドが作ったヘッドマウントディスプレイとオーギュ

ドマウントディスプレイを被ってもらいます。インダストリアルデ

メンテッドリアリティです。ここにテレビのモニターのようなものがザイナーの山中俊治さんにお願いしました。ぼくらはこれをエイリ

あって、ヘッドマウントディスプレイのなかにコンピューターが作っアンヘッドって呼んでいます。最初山中さんがデザインしてくれた

たベクターグラフィックが映っています。ですから現実とコンピュー

ものは白くて綺麗ですが、あまり力強くない。有名なインダストリ

ターグラフィックスが重なっている。いま普通に AR と言われている

アルデザイナーだし僕は山中さんが大好きなので、ダメ出しするのものが、50 年前に実現されていた。では 50 年間何をしていたかとはすごく辛かったのですが、最初のモックが出た時に「山中さん、こいうと、実はあまり進んでいなかった。たとえば部屋の 5 面を全部れはダメだと思うんですよね、山中さんが作ってくれたのは、『スタモニターにしたキャビンというディスプレイがあって、このディスウォーズ』で言うと連合のほうで、ぼくが欲しいのは帝国側の悪さ

プレイの中に体験者が入ると、床も全部ディスプレイなので、空をと強さなんです」って。そしたら山中さんが「じゃあ触覚生やそう

飛べば自分も飛んでいるような感覚を真似たりできる。没入感はけっよ」って言われていきなりスケッチを始めて、その瞬間にできちゃっ

こうありますが、だからといって周りの景色が現実と同じだと思えた。３０分もかかんないでこれができちゃった。こういうデザイン

る人はいない。そういう意味で現実と仮想の境界を取り払うことにの発注ってやったことなかったのですが、やっぱり思ったことをちゃは全然成功していない。あとは AR 的なものですね。この場合はマーんと伝えるのは大事だと思いました。仕組みは、ヘッドマウントディ
スプレイの正面にカメラがついています。最初ヘッドマウントディ
スプレイを被ると中のスクリーンに映っているのはカメラから撮影した映像です。だからライブイメージ。被る前と被ったあとで同じものが見えています。今僕がここで被れば、みなさんが同じように、
まあちょっとカメラの画角によって見え方、色が違いますけれども、ライブで見えているので、見えているものが嘘だと思う理由が全くないです。普通の人はヘッドマウントディスプレイを被ったことがないのでちょっと違和感はあるけど、目の前に見えているものが被った前と同じものなので、本物だろうという確信が生まれる。この確信を作るのがすごく大事です。被ったあと被験者／体験者が頭をぐっ

g e i d a i R AM

OPEN LECT U R E v o l . 1 0

2/11

と動かした瞬間に、背景の画像が全部動くので多少いろいろな操作

ど、死んだ人はいません。彼は今自分を見てすごいびっくりしていをしてもあんまりわからない。その瞬間に、体験者が座っている頭る。このあと自分が目の前に座る。でも本当は現実では僕が座っての位置にパノラマカメラを置いておくんですね、パノラマカメラをいる。切り替わって僕が出てくるんだけど、あれだって嘘かもしれ

置いて撮影した過去の映像を見せる。つまり、ここで今僕がヘッドないですよ、全然区別がつかない。唯一できるのはフィジカルにタッマウントディスプレイを被ると予め頭の位置で撮影した映像に切りチすることで存在を確認すること。でもそれだって映像上はだれか替える。そうするとこの建物の壁とか天井とか床とかは全く同じもが触りに来ているのだけど別の人が触っているかもしれない。タイのが映る。同じ場所から見ているから。つまり視点が一緒だからわ

ミングさえ合えば。つまり、いったんあれ被ったら何をされてもわからない。ただ違うのは人がいなかったり別の人がいたりすること。

からない。ああいう体験は普通できないので、終わった後みんなこライブ映像と過去の映像を上手に切り替えてやると、知らないうち

んな顔になります。どうすればいいの？と言葉にならない。みなさに過去の世界に放り込まれていて、ありえないことが起きたり普通

ん同じ顔をします、間違いなく。なにがなんだか分からないまま色々だけど実は普通じゃないようなことが起きたりする。今まで大体、操作されて、僕らもすべてのネタばらしをするわけではないので、2000 人近い人が理研の SR の実験室に体験にいらっしゃいましたが、騙されたまま帰ったりすることもあります。説明を忘れたりすると、

ほぼ 90％以上の方は区別がつかない。大抵 SR 体験にいらっしゃる

それがその人にとっての現実なんです。みなさんは現実とこういう方は見破ってやるという気でいらっしゃる。僕らも最初は「嫌だな、

嘘ははっきり区別がつくと思っているかもしれないし、世の中にはなんでみんなこんなやる気満々で来るんだ」と思っていましたが、絶対的な現実というのがあって、それを僕らは共有していると思っ

最近は全然心配してないです。まずわからないですね。ただ、映像ているけど、こういう操作をすると、現実なんて何十個でも作れる。

の専門家と音の専門家は、過去と現在の映像を撮影しているカメラ

パラレルワールドなんていくらでもできるのです。例えば僕が写真の画素数と音がちょっと違うのでその差を微妙に感じ取って違いがを撮ったシーンを体験した人がいて、その人はその日僕と会ったこわかる。解説のビデオを見てもらいます。

とになるんですね。でも本当の僕は出張でいなかったんです。そうするとその人は僕と会っているけど僕は会ってない。その人が理研の人だったりすると、それで廊下ですれ違ったりすると、「先日はどうも」とか言われるけど、なんのことやらさっぱり分からない。それはもう完全に現実が分岐している。そういうことがいとも簡単にできてしまうというのが非常に面白い。
先ほど従来の VR、AR は現実との間にギャップがあるとお話をしましたけど、SR は地続きの仮想を作れるのがポイントです。現実とい
うのは僕らが信じているものにすぎない。ですから僕が信じている
現実とみなさんがそれぞれ信じている現実は全部違う。多分いまこ
こに集まっているみなさんは、僕が本当にここに存在していて、全員が同じトークを聞いていると思っているかもしれない。でももしこれが実験室です。さっきのエイリアンヘッド。ここにカメラがついかしたら僕は一人一人にむけて全部違うことを話しているかもしれています。ヘッドフォンはノイズキャンセル。右下にあるのが、本ない。その可能性はゼロではない。現実というのはいかに脆いかと人が見ている映像です。ライブなので自分の手を見てもちゃんと見いうことをほんとに実感できる。普通に生きていれば現実はひとつえる。ただカメラをデジタル処理しているのでちょっと遅れがありではないことを言葉ではわかっているかもしれないが、体験する機ます。当然周りを見渡せばそれに応じて映像が動く。ここで僕は一会はない。それを体験する装置として非常に良いです。

回はけました。隣の部屋にいます。いま過去の映像に切り替えまし従来の VR、AR が現実と仮想の境界をうまく取り払うことができな

た。過去の中で僕が今入っていきました。本当は、僕は隣の部屋にかったとき、彼らはみんな工学の人だから、解像度とかフレームレー

いますけど、過去の映像で僕は部屋に入っています。過去の映像でトとかスペックをあげることでなんとかしようとする。確かにフレーもパノラマで頭の動きに合わせて映像を切り取ってきているので好ムレートが上がると体験はちょっと変わる。没入感は確かに上がる。

きなところをみることができます。いま過去の僕は写真を撮っていあと例えばヘッドトラッキングっていう頭の動きをセンシングするます。彼はポーズとったりしています。でも本当の僕は隣の部屋にトラッキングデバイスは常に遅れる。100 ミリ、0.1 秒とか 0.2 秒遅います。過去の僕は消えます。消えたなーと思って正面見たらもうれると、確かに遅れているとみんなわかるわけです。だったら、遅一回いるわけ。えええって言って、わかんなくなるとみんな手を見れをゼロにすれば完璧だと、本当に 0.01 秒とかね、10 ミリ切りまます。次に、これが撮影のシーンです。これがパノラマカメラ。こした、フレーム 1 枚分しか遅れていませんとなる。フレーム 2 枚をれで 360 度全部撮れている。さっきの写真を撮っているシーンもこ

1 枚にするために 10 年かけたりする。すごいと思うけど、僕たちのういう風に。これから現実と過去を同時に混ぜます。半分半分にし主観的な経験にとってそこはどうでもいいわけ。つまりそういうスます。僕が二人います。境界がこの辺にあるんですけど、映像上はペックはどうでもいい。人の主観を操作するにはあまり重要ではなもうわからないですね。区別がつかない。それで自分が入ってくるい。ありものでなんとかなる。VR と SR の違いを簡単にいうと、VRシーンを見せます。これは黙って撮影していたんですけど、要はドッというのは、僕らが見て、聞いている、つまり知覚的なスペック、ペルゲンガーです。ドッペルゲンガーを見ると死ぬって言いますけ

情報をなんとか操作しようとする。だけど SR は何を感じて、何を信g e i d a i R AM

OPEN LECT U R E v o l . 1 0

3/11

じているか、そこを操作する。この方が効率がいい。人間はかなり麗で映像の瞬間だけ取り出して見たら現実と区別がつかないような低スペックなものを抽象化することができるから、あまり騙す側のものを見せられたとしても、信じることはできない。アイマックス

リソースを必要としない。でもこちらの視覚と聴覚のいわゆるデジシアターみたいなもので見たとしても本当に自分がそこにいるとはタル情報に近いところを操作しようとすると、スペックをどんどん

とても思えない。たとえば宇宙のシーンですごい臨場感があったと上げていかないといけない。そこは青天井になってしまう。なので、しても自分が宇宙にいるとは誰も信じない。こういうシーンの中にSR のほうがよっぽど効率がいいだろうと。僕は工学者ではないし、自分が本当に放り込まれたとしたら最初に心配しなきゃいけないの

ハイスペックなものを使うエンジニアを雇用できる余裕がないので、は自分の命です。死にますからね、瞬間的に。だけどこれを見たと

まあ一種の逃げですけど、逃げてもこっちの方がうまくいっているきに「死ぬ！」と暴れる人はいないですよね。仮想的なものが外部からいいじゃないかと。

にあって、自分の現実空間、触って確認できる現実の空間と外側にあるものをうまくつなぐことが唯一ちょっと上手くいっているのは、SR を体験するとどうなるか

AR だと思います。AR は現実の空間、リアリティバブルに小さな穴を開けて覗いている。そうすることでこの穴の延長が仮想であると

SR で疑ったときに何が起きるかというと、みんなこうやって手を見いう認識を作ることができる。スマホの AR アプリをもうちょっと工るんですね。目の前の人が本当にいるのかいないのかと思った時に夫すると、もしかしたら現実の延長みたいな感じで作り込むことがなにをするのか、その人を見るのではなくて自分の手をまず見て確できる。それは SR を使うとできる。こちら側、中から外側の拡張と認して、今見えているこの世界は本物だなって思った後に、じゃあ、いうのは AR を使って比較的できますが、外からこっちに入ってくる

あなたは本物だというふうに思う。それはサルを使った実験でもそ拡張は難しく、ほとんど成功した例がない。貞子的な、向こうからうで、サル用の SR を作ると、自分の手をしげしげと見ているんです。

こっちにやってくるものはなんとなく上手くいっている。SR は現実

ふだん自分の手をしげしげと見るサルはほとんどいないです。SR のがあったときに、気がつかないうちに過去の世界に置き換えてしま

このヘッドマウントをつけてはじめて手を見るのを何頭か確認しまう。さらにこれを一回元に戻したり、もしくは混ぜ合わせたりする。

した。面白いのは、人はなんか騙されたなと思った瞬間に見えていいつ始まったかわからない。何か変なイベントが起きたら、そのイる世界すべてが嘘だと思うことができる。だから、もし僕が「はーい、ベントを変だなと思うことはできても、イベントの過去の映像、も今までの全部嘘！」って言ってパッと消えたとするでしょ、そうす

しくは作り込んだ映像が、いつから始まったかを見つけるのはすご

るとみなさんはおそらく周りのみんなも全部嘘かもしれないと思う

く難しい。そういう点では夢とよく似ています。

ことができる。ところがサルの場合は、僕が過去の映像の中でサルに向かって餌をやろうとすると、そこの餌を取ろうとすると手がス

パノラマ映像と SR

カッとなる、現実にはそこにいないから。そうするとサルは僕に怒る。仮想の中の僕に怒るけど、それ以外の場所はまだ信じていられる。

パノラマ映像が面白いのは、それを信じていないとしてもパノラマ

つまり、部分しか疑えない。全体を疑えない。サルの主観は分かり

映像単体を何度か見ていると、自分がそこに行ったかのような感覚ませんが、見ている感じではそう。なので、全体を疑えるのはすごが生まれる。それについて僕らは一つの仮説を持っています。去年いと思う。

ノーベル賞を取った人が見つけた細胞で、脳のなかには「場所細胞」、

SR はなんでうまくいくかというと、現実と人が作った仮想的な空間

place cell というのがあります。ある一定の範囲の特定の場所、たとには明らかなギャップがある。従来のやりかたはバーチャルのほう

えばはじめてこの部屋に入ってうろうろすると、脳の中に地図がでをできるだけリアリティに近づける努力をしている。そうは言ってきあがる。そうするとこの部屋の一部分にいるときだけ活動するのも、常にギャップがある。SR は、現実のクオリティを下げる。つまが場所細胞、place cell です。あと空間のなかをグリッドのように活り今 SR の環境で見ている、聞いているものは何かというと、ビデオ動するタイプのグリッドセルがあり、これを合わせると空間のどこ

クオリティ、もう MP4 ですね。極端に圧縮された現実、それとクオに自分がいるかというマップを作ることができる。このマップは実リティが等価であれば両者を取り替えても区別がつかない。これが際に部屋を動き回ることでできあがると考えられていますが、それSR の肝です。A と B というものを切り替えてもわからないのであれとは別に、実際に頭を動かして部屋を見る、それによっておそらくば、自分が A にいるのか B にいるのかは分からない。SR は現実と最低限それが担保され、マップができると考えています。たとえば

仮想の間の境界を取り払うことに成功した。ただ、ぼくらが現実とフラットスクリーンでビデオ映像を見て、誰かの部屋の映像を見る、いうものをどこまで確認できるかというと、おそらくみなさんが本

建築物の中を動いている映像を見たとしてもおそらく脳の中にマッ

当だって思えるのって触れる範囲だけです。だから、この部屋の一プはできない。それは、そのカメラの動きを自分でコントロールし番奥にいる僕の友達の田村さんはもしかしたらいないかもしれない。

ていないから。だけど、実際にどこかの部屋に入って、その中で見いるかいないかを確かめるにはあそこに行って触るしかない。そん渡すと、頭の位置と視覚情報、ビジョンモーターカップリング、ビ

なこといちいちやっていられない。だから僕らは、見えているもの

ジョンと頭のモーターが合わさって、それが担保されると入ってきを信じて、いるという前提で信じている。そうすると生活を普通にた視覚情報がきちっとマップの中に落とし込まれる。そのビジョン

送れるけど、あれも嘘かもしれない、本当は嘘じゃね？と思い始め

モーターカップリングを確保していることがマップを作るためにすると、もう何もできなくなる。そういうなかでフラットスクリーン

ごく大事で、実際にその場に行かなくてもおそらくよいと思います。

に映っている映像は、どれだけコンピューターグラフィックスが綺パノラマ映像を自分の頭の中でヘッドトラッキングと合わせて見て

g e i d a i R AM

OPEN LECT U R E v o l . 1 0

4/11

いくことは、ひとつの経験を作ることだと考えられる。脳内のマッだけど場所が違う。SR は場所が一緒だけど、時間が違う。過去と現

プは何に重要かというと記憶のベースになることです。つまり私た在を行ったり来たりする。SR でも離れたところの映像を見ることはちが体験する色々なイベント、それはこのマップをベースに出来上できるので、SR は各方向においてのタイムマシンの要件を完璧に満がる。だから、実際にどこかに行って自分がマップを脳の中に作ったしています。時間と場所をジャンプしています。未来方向はできて、そこで何かを体験するのは記憶の中に残りやすい。ただモニター

ませんが、過去に関しては情報を蓄積しておけばタイムマシンとしの上に映っている映像を自分の頭を全く動かさず、ぼーっと見たりて完璧に機能します。SR を実際に体験するためにどのようなシーク

経験したりすると頭の中に残らない。それはマップがないから。だ

エンスを作るかというと、この青い１、２、３、４は現実のイベン

けどパノラマ映像を見ると、おそらくマップができあがる。映像をトだと思ってください。その中にあらかじめ撮影しておいたイベン

作る方々はひとつ挑戦としてパノラマ映像を物語の表現の中で使っ

ト A、B、C、D という過去の映像を混ぜ込んでいく。そうすると体ていただけると、おそらく従来のフラットな映像とはまったく違う

験者が体験するのは、１、A、B、３、C、D という感じになります。

ものが提供できるのではないかと思っています。

ところが体験者がもし本当に操作そのものにまったく気がつかない

最初の SR システムは今から２年前くらい前に作りました。いくつかと、これらをすべて現実として持って帰る。何が面白いのか全く分問題があって、シーンは過去と現在を切り替えるだけだった。もしからない。当たり前のことが当たり前すぎて、人が入って出て写真

くは手を見られるとばれてしまうとか。過去だったら自分の手を見を撮って「こんにちは」と言って出て行く。何が面白いのかわからられないから。あとは同時にひとりしか体験できない。それを解決ないというのが完璧に SR が機能するときの状態です。場合によっするには、たとえば過去の映像から自分の手を抜き出して重ねてやては C だけを見破るひともいる。別の人は A と D を見破りました。

ればいい。あとは過去映像と現在の映像をブレンドする。アルファ

だけど B と C に関してはわからなかった。この人は A、B、D は気チャンネルをいじって、ブレンドすることでどっちがどっちかわかがつかなかった。それを教えてあげるかあげないかはこちらの自由。

らないようにすることもできる。たとえば空間のなかの半分を過去同じシークエンスを体験したとしてもみんなが違う物語を持って帰にして半分を現在にするとか、空間の一部に窓を作って、その中だるのが SR の面白いところです。パラレルワールドを作るのがどれだ

けを過去にするとか現在にするとか、そういうことも簡単にできる。

け簡単かということ。ただそれは SR に限ったことではなくて、現実

これくらいの道具立てができあがると、かなり色々なことができる。

で常に起きています。

SR を体験するには
SR という技術は、一人しか体験できない。これは映画の初期とすごくよく似ています。エジソンが作った映画は箱の中を覗き込んで見るものだった。おそらく当時は一箱けっこういい値段したと思うんですけど、なかなかペイしなかった。覗き込むと汽車がやってくる
みたいな、いまなら誰もなんとも思わない映像を見てみなさん喜んでいたと思います。エジソンは実業家ですから、ムービーパーラーというのを作った。カフェのなかに、映画を見る箱をいっぱい並べて、みんな一個ずつ見るというビジネスをした。それでエジソンは映画を最初に作ってしかもそれをビジネス化した人ということになってSR 技術をどう使うかいます。そのあとリュミエール兄弟が「そんなの箱を覗き込まなくても投射すればいい」と今みたいな多くの人が同時に見る仕組みに

次に SR の技術で何をするのかです。一つはダンスパフォーマンス。

した。僕も SR でエジソンの真似をしようと思い、こういうポッドを

これは 2012 年 8 月に未来館でやったものです。GRINDER-MAN と作った。山中さんのデザインです。これは外苑前にある TEPIA といいうダンスグループの田口さんが SR を体験されて、「面白いからな

う科学館に置いてあります。SR の簡易体験もできますから良かったにかやろう」と。未来館の協賛を受けてやりました。これはどうい

ら行ってみてください。

う仕組みかというと、ここに体験者が一人います。エイリアンヘッ

SR に実際に使っているのは既存の技術です。ありものの技術をうまドを被っていますね。そしてその前に半円形のステージがあって、く組み合わせて上手に体験者を騙すことができた。一番よく似ていダンサーが二人います。この人が見ている、体験している映像は右

る技術はテレイグジステンスという技術です。これは最近 NHK スペ

上のスクリーンに映っています。見ての通り、実際は 2 人しかいま

シャルのネックストワールドで取り上げていた、遠隔地にあるロボッ

せん。だけど、右上に見えている映像には 4 人います。これは過去

トが見て触れている映像とか触覚を人が見て触れることができ、さの映像と現実の映像がまざっているのです。後ろにいる観客は 40 〜

らにそのロボットを自分で操作できるという技術です。これはビジョ

50 人いますが、この人たちは右上を見てもいいし正面を見てもいい。

ンモーターカップリングが担保されています。自分が右を見るとロ面白いのは、僕も会期中によく感じた体験ですけど、右上を見ていボットが右を見るので、好きなところを見ることができる。テレイ

るときに、今 4 人いるんだなと思って、ふっと下を見ると 2 人しかグジステンスと SR は何が違うかというと、テレイグジステンスが共いない。そのとき普通は右上の映像をおかしいと思いますよね、こっ有しているのは同じ時間です。ロボットと自分は同じ時間にいます。

ちが現実だとわかっているから。だけど結構な確率でこっちが間違っg e i d a i R AM

OPEN LECT U R E v o l . 1 0

5/11

ていると思う。その感覚がすごく面白いです。勿論戻って来ますが、SR は何に使えるのかという話で、一番簡単なのは映画、あるいはゲー

それは観客でないと感じられない。これを 2012 年に未来館でやり、

ム、記録、臨床応用などがあります。映画とゲームは素人がすぐに去年 2014 年に Ars Electronica で再演しました。教会の中のオープ作れるものでもないので、ちょっと置いておきます。一番手軽でしンスペースでやり、結構評判だった。その「MIRAGE」の映像を見てかも価値かあるのは、パノラマ映像を撮ること。そこに主観的にもうみてください。（映像）音楽は evala さんがやってくれたのですごく一回戻れる。そういうアーカイブが大事だと考えています。たとえいい音です。これはライブと過去映像をしょっちゅう切り替えていばこれは友達の結婚式です。パノラマカメラを置いていて、パノラ

ますが、僕がいま見てもどっちがどっちかわからないです。おそら

マカメラはどこを撮られているかわからないのでみんな無防備です。

くみなさんもわからないと思います。出たり入ったりしますが途中

これは２：１の全天球画像なので、普通の映像のように見えますけ

で切り替わっても分からない。不安になると手を見ますが、ブレン

ど、これをヘッドマウントディスプレイ、全天球に投射して見ると、ドしているときは自分の手もちゃんと見えるのでまったくキューに

自分の頭の動きに応じて好きなところを見られる。結婚式に来られならない。いま不安だからこの人は下を見ています。でもブレンドなかった人にも見てもらえる。ただ容量がすごく大きい。撮影するだから、自分の足は見えているから全くキューにならない。自分のオリジナルの動画ファイルが 1 分 2GB。私事ですが、うちでチャー手を見ていますね。さっきシークエンスを作ってやるとそれぞれのという猫を飼っておりまして、可愛いですよね、20 歳です。この猫人がそれぞれの理解をして別の物語を持ち帰ると話しましたが、こが 10 日ほど前に亡くなりまして、その前に僕は自分の家で動画を撮の場合も全ての体験者と終わったあと話したところ、全員違う話をりました。ただたんに猫に鰹節をやるという、なんの面白味もないしていました。たとえば完璧に見破ったって人がいましたが、その動画。（映像）こういうのはアーカイブとしていいですよ、猫が死ん

人は足音を聞けば分かったと言いました。足音があるときはライブ

だら絶対泣けます。いまも泣けるんですねやっぱり、ほんとに（笑）。

でそうじゃなかったときは過去だと。でも実は足音はあらかじめ作

家内が見ても泣けるし、僕も何度見ても泣ける。ヘッドマウントでり込んだ過去で映像のどこともマッチしていない。あなたが体験しヘッドトラッキングした映像を見ると、自分がリビングルームにいていた現実というのは全く嘘ですよという話をすると、しばらく愕て、猫がそこにいる映像を体験できる。残念ながらさっきのマフラー然として喋れなかった。そういうことがよくあります。つまり体験をした猫はこんな風に骨になってしまいましたが、体験としては残者は本当に違う体験を持ち帰ってくる。繰り返しますが、現実というる。パノラマ動画は簡単に撮れます。安いカメラだとリコーのシータ。

のはどこにも絶対的なものはない。全ては主観的だということです。

一度に 3 分しか撮れませんが、日常生活の何気ないところを撮ってもうひとつは同じ年にソニーが出したヘッドマウントディスプレイ

おくといい。お子さんがいらしたら、特別なことはしてなくていいのプロモーションです。プロモーションは製品そのものを見せるのから、いっぱい撮っておくといいです。あとからその時に戻れます。

が当然なのですが、なぜかこのときは改造が許されました。このソ臨床応用としては、統合失調症の幻覚ですね。幻覚は本人しか分か

ニーのヘッドマウントディスプレイにカメラが入っています。見てらない。お医者さんも自分が罹患しない限りわからない。それを擬みてください。（映像）こちらが本人が見ている映像でこれが俯瞰映似的に映像体験として作ると、患者さんがどれだけ苦しい思いをし像です。ライブです。最初のプロセスで見ているものが本物だといているかわかる。そういうビデオを製薬会社さんと一緒に作っていう話をしています。『バイオハザード』のトレイラーを見てもらって、ます。あとは共感覚というものがあります。たとえば音に色がついゾンビ映画をちょっと体験します。でもこれはただのビデオなので、ているとか数字に色がついているという共感覚も映像体験として作頭動かしても映像は動かないし、ただのトレーラーです。終わりまることができます。日本にはあまりいませんけど、帰還兵の PTSD、した。これで戻ってきたと思っていますが、これはビデオです。過アメリカには多いですが、その治療にバーチャルリアリティを使う去の映像です。本人は全然気づいてない。なぜか電灯がチカチカすことがあります。これは CG を使った戦場の映像を安全な場所で体るんですね。これは相当怖いです。今僕が見ても怖いです。ゾンビ

験することで、大きな音に対する過敏な反応を軽減できると言われが襲ってきます。そのあとお疲れ様と言いますが、これもまだビデています。SR を使うことでより効果的にできるのではと。さきほどオです。本人は現実に戻ったつもりです。言われた通りあっちを見テレイグジステンスという話をしましたけれども、SR を使っても幽ている。でも本当の彼女はこっち側で待っている。ここでブレンド

体離脱ができます。自分の視点が自分の体から離れる。幽体離脱っします。ここで触って確認しますが、実はこれも例えば僕が触っててしたことあるひといます？

幽体離脱はパノラマカメラをそこにもいいのです。バーチャル握手会も簡単にできて、アイドルと握手しているつもりが実はおっさんだった、みたいなこともできます。
再び繰り返しますと、信じればどんなものも現実になるのです。
さきほどスペックはなんでもいいと言いました。その視覚と聴覚の情報をどこまで削れたら現実が作れるかと試したのがこれです。見
えている世界を全部線画にしました。これは僕が初めてこの線画の世界を体験した主観映像です。自分の手を見てもここまで簡素化しちゃうと、信じられないです。それでどうしようかなと思った時に、自分の足を見るんです。この足を見た瞬間に、ああ本当だと確信が生まれた。線画まで抽象化しても現実というのは作れるというのが驚きでした。
g e i d a i R AM

OPEN LECT U R E v o l . 1 0

6/11

置いておいて、そのパノラマカメラの映像をヘッドマウントに流した。それで理研や研究所もしくは大学などの知財がどんどん死蔵さ込んで、ヘッドトラッキングできるようにすると、離れた視点かられていることが問題になっている。

自由に周りを見回すことができる。そうすると体はここにあるのに、その理研ベンチャーという仕組みを使い SR を世の中に広めようと

自分の視点が向こうにいくわけです。その視点を複数移動したり切思ったわけです。理研ベンチャーという名前はベンチャーですが理研

り替えると、自分の視点がどこにあるのかだんだんわからなくなり、が出してくれるのは知財だけでお金は出してくれないです。ただ外僕の場合は、数カ所動かすと段々自分がどこにいるのかわからず、に作った会社の代表取締役にくれる。知財が優先的に、独占的に使え、部屋に普遍的にいるような気がしてきます。幽体離脱を実際に体験

しかも兼業を許してくれるという点では非常に優しい。それで去年するにはクスリや死にかけたりしないとできませんが、こういうデの 4 月に立ち上げました。SR という技術を世の中に広めるタイミン

バイスを使うことで比較的簡単に幽体離脱の経験ができる。類似のグがすごく良かった。いわゆるバーチャルリアリティ用のツールが経験がしたければ、FaceTime とかで、スマートフォンを 2 個使って充実してきた。たとえばヘッドマントディスプレイは、フェイスブッ

向こうの方に置いておいて、頭の動きとカメラの動きをなんとなく

クが買ったオキュラスというデバイスや、最近だとソニーが間もな

合わせ、映るようすると、それに近いものができます。

くリリースするものがある。非常に没入感が高く、性能のいいもの

最後に大人向けの応用です。セクハラインターフェイスというもの

が安価で出回るようになった。パノラマ動画を撮影するカメラもそをやっている市原さんと触るとあえぐ大根と SR を結びつけたものをうです。さっきの実験で使っていたレディバグは一台 200 万円くら作りました。今年のメディア芸術祭で賞をいただきました。大根をいします。アップデート版だと 500 万円くらいで、誰でも買えるも触っているときにお姉さんを投影する。そうすると、視覚的にはおのではなかった。ところがリコーが出したシータやキックスターター

姉さんの足とお尻になり、大根の間が特別な意味を持つ。すごい満が出しているバブルなどが世の中に出回るようになっています。だ

足度が高い。このコンテンツを作るにあたり、女優のルキノさんに「ルれでもパノラマ動画を撮れるようになるが、それをどうすればいい

キノさん最後にパンチラどうっすかね」と言ったら「良いですよ！」のかわからない。撮ったはいいけどどうしたらいいか分からない状とやってくれて、みなさんすごく喜んでくれました。ただ黙ってル態です。普通の人が SR や VR を楽しむには、安くコンテンツを配布

キノさんがおずおずとスカートあげるの見せると、見ていいのか見できて多くの人が同時に使える仕組みをつくらないとだめ。そうしちゃいけないのかわからなくなり、じーっと見る人と、見ない人と、ないとマーケットはできあがらない。いままでバーチャルリアリティ

何種類かに分かれて結構面白い。女性で同じコンテンツが作れるかや AR は何度も山が来ていました。何度も来ても常に失速している。

なと思っていろいろやりましたが、女性は好みが多様で難しいです。

それは単価が高いとか、人々に体験してもらうプラットフォームを今日は持ってきていませんが、森翔太さんが女性向けコンテンツの作ってこなかったから。それを実現するために究極の最安のシステ

中で、研修医の役で出てきてもらい、その瞬間に恋に落ちたことにムができないかと考えたときに、まさに 1 年前、ガムテープとそのして、プロポーズするシナリオを 3 パターンくらい作ってくれた。

辺にあったダンボールでハコスコを作りました。原価でいうと 200

森さんが良い感じのプロポーズをして、手からシュッて指輪が出て円とか 300 円ですけど、これを 1000 円で売り始めた。基本的にヘッきたりするんですけど、それもすごい好評だった。女性向けもでき

ドマウントディスプレイと VR や SR に必要な要件はスマートフォン

ると思って、まだまだやることはあると思いました。さっきのキスのなかに入っています。もし VR のために皆さんにスマートフォンをシーンで実際の SR には触覚がないんですね。どうしようかなと思っ買えと言ったら誰も買わないですよね。ところがなぜかみんな持って友達に頼んで作ってもらったのがベロチューマシーンです。口がています。しかもスマートフォンのなかに SR、VR に必要なものがぱくぱく開いて中から舌が出てくるものを作って、最初に体験したすべて入っている。こんな奇跡みたいなことないですよね。そこにのが堀江貴文さんでした。ちょうど 1 年前です。

せいぜい千円もしくは大量に作れば数百円のものを足して VR や SR

SR というのは面白いけれど誰でも体験できるデバイスではない。単が楽しめるなら使わない手はない、というので始めたのがハコスコ

価が高いし、場所も限られている。後半はこれをどうやって世の中です。

に普及させようかという、この一年間の僕の苦闘をお話しします。

ハコスコ自体は、堀江さんがセクハラインターフェイスを体験した 1
月 31 日にはまだありませんでした。僕は堀江さんとの対談で、「スベンチャー起業

マートフォンを使えばすぐできる」と言ったのを覚えています。「そうだよね、できるよね」と堀江さんは言って対談が終わった。その僕が今いる理化学研究所に理研ベンチャーという仕組みがあります。

後に、これが出来上がったのが 2 月 4 日です。だから今日までま理研のなかで作った、もしくは出来上がった知財を外に出すことをだ 1 年経っていません。作ってみたら、これは結構いけるなと思っ目的としたシステムです。理研は、戦前、理研コンツェルンと言われ、て、同時にアプリも作り、アプリが出来上がったのが 4 月くらいで研究所内で出来上がった色々な知財をスピンアウトして多くの会社す。基本的な仕組みはこの 2 月 4 日に作ったプロトタイプのままでを作り利益を上げました。戦後の財閥解体で理研コンツェルンは解す。それを一般にお披露目したのが、去年の 5 月 31 日です。ヒカリ

体されたので世の中に理研とつく会社が山のようにあります。そのエでやった TEDxTokyo でプレゼンして無料で 300 個配った。3、4 ヶほとんどは理化学研究所からのスピンアウトです。「理研のわかめ」

月のところで製品としてお披露目をした。会社名は SR ラボだと硬いもそうですし、カメラのリコーもそうです。ところが戦後、いわゆ

し、ハコスコというひとつのプロダクトだけで完結できるというこ

る科学研究が細分化し、応用研究とだんだん離れ、研究者の成果がとで、ハコスコという子会社を作りました。このハコスコのロゴは、

世の中に広められなくなり、研究者もその意欲をあまり持たなくなっ佐藤可士和さんの右腕だった奥瀬さんという人が作ってくれました。

g e i d a i R AM

OPEN LECT U R E v o l . 1 0

7/11

のが「ユニティちゃんハコスコ」。これは凄い人気で、夏コミュでユニティグッズを 8000 円以上買うともらえるというので、すぐになくなりました。そのあと 100 個くらい手元にストックがあったので、アマゾンでそっと売ったら、1 時間か 2 時間で売り切れ、これはいける！とものすごい手応えを感じました。
サムスンが樹脂で作ったギア VR という、大きめのノート型のタブ
レットを VR 端末にするデバイスを売り出しているのですが、東京
ゲームショーで、なぜかサムスンのヘッドマウントデバイスのお土産としてユニティちゃんを配った。VR 関係の雑誌、週刊朝日の別冊ムックにもハコスコを付録でつけました。エックスリアリティという雑誌の付録にもつけた。DMM がスポンサーになり、DMM のプリントをして、雑誌の中にバンドルしてある形です。雑誌付録は結構
これが最初に作ったハコスコの紹介ビデオです。（映像）非常にシン制限があり、1000 円の雑誌なら単価 200 円以下じゃないと付録にプルで、モバイルでしかも安いというのが特徴です。従来のヘッドならないですね。そうするとハコスコを 200 円以下で卸さないと入マウントディスプレイとデスクトップコンピューターのシステムは、れられない。ミニマルな設計にしたことで実現できたプロジェクト

ケーブルが常に繋がっています。歩き回るとか持ち運ぶのがすごくです。表面印刷に関しても、DMM さんにスポンサーになっていただ

大変でしたが、スマートフォンとこの箱があればほぼ同じことができましたけど、これは可能性がすごくあると思っています。ハコス

きることがわかった。従来の僕らの研究用途のヘッドマウントディ

コを見ていると、見ている人しか何を見ているかわからない。傍かスプレイはほとんど軍用レベル、軍用ほどではないですけど、研究ら見ている人は、「わーすごい」とか「おもしれー」とか言っている

用で価格はすごく高い。コンシューム用のバーチャルリアリティものをヤキモキしながら見ている。「俺も見てえ」とか思っている時にでてきていますが、依然高止まりしていて、下の層、要するにこのDMM とか書いてあると、広告効果が凄く高いです。目に入ってしままなら VR など絶対体験しないような層が 9 割以上いる。そこをまう。あと、会社のオフィスとか実験室とか研究室に置いてあると、ハコスコは狙っていくと決めた。ハコスコ自体はできるだけ安く、

みんなの目に触れるものとして置かれ、広告効果がある。そこがインできればタダというビジネスモデルを作らないとこの層のひとたち

ターネット広告とは全然違う。物としての強さがあることがわかった。

は絶対に手を出さないです。なので、そういうスキームを作ろうと。
仕組みとしては非常に簡単で、ハコスコというダンボールのデバイ

ハコスコ事業の展開

ス、体験用のアプリとコンテンツ。アプリはコンテンツ配信のプラットフォームでもあります。僕らはコンテンツを作る人たちや消費者

ハコスコはもともとスタンドアローンで動くようにできています。一を広告主とつなげて、広告主のお金で安価に楽しんでもらう仕組み

度に 1 人しか楽しめないけど、多くの人が同時に楽しめる方が面白い。

を作ろうと考えています。コンテンツは基本的にパノラマ動画。パ

たとえば同じパノラマ動画を五人で見たとする。その時にそれぞれ

ノラマ動画は VR ではないと言う人はいますし、ぼくは否定しませんの人が見ている映像は向きによって違う。ある人はこっちを見ていが、いきなり VR と言ってやりたいという人はいないです。面白いコ

るし、ある人は下を見ているし、ある人は上を見ている。そこに綺ンテンツがすごく少ないから。だからまずパノラマ動画で啓蒙しな麗な鳥が来たと言うと、みんなが一緒にそっちを向く。それは現実ければいけない。去年の 7 月 1 日からアマゾンで売り始めたハコス

世界で同じ場所にいる人たちが、主観的には離れた過去の世界に行っコが今 4 万台を超えています。ダンボールなのでみなさんいろんなて同じ情報を共有していることになります。そこでこれを複数同時加工をする。ふなっしーを作ったり、眼を書いたり、いろんな加工に起動して同期させる仕組みを作ろうと思った。それを作ったのがをしています。非常に親しみやすい素材だというのと、何かの足り去年の 7 月か 8 月。iPad 一台にハコスコが 60 台くらいぶら下がっなさを自分で補おうとやる気がでるみたいで。こういうダンボールた仕組みを作りました。これはルーターが一台あればよくて、PC がアート的なものを作る人たちも出てきています。

いらない。非常に安価なマルチユーザーの VR システムが作れた。こ面白いのは、段ボールはすぐに汚れて壊れるから、樹脂で作ればもっれの応用例として最初にやったのが、ギズモードからの提案でのバーと買ってもらえるだろうと作っているけど全然売れない。やっぱり

チャルディスコでした。8 月 10 日ですね。このときは 8 人のユーザー

そこではない。そういう機能向上は、さっきのエンジニアリングのがステージに上がった。それぞれが違うクラブミュージックの動画

スペックをあげるのと同じ。僕らは、ミニマルな体験をミニマルなを見ているけど、はたから見ているとヘッドフォンつけているので、コストで体験することが一番大事だと思うから、全く方向性が違っ何を見て聞いているのかさっぱりわからない。けっこうみんな踊っている。箱だけを売って儲けようとするのは全然ダメで、箱を使ったりしていて、興味を持っていました。（映像）実際やってみると楽て何を体験するのか、体験を提供しなければいけない。デバイスにしい。この時は 3 日間、最後の方は結構行列になっていました。

しか目が向かない人も多いけど、多分あまり上手くいかない。

同じ仕組みを使って、ビッグサイトでやった HIS の旅博で旅行コン

ダンボールの余白を何で埋めると一番効果的か、表面にいろんなキャ

テンツを体験してもらいました。このときは 40 人いて後ろでは 60

ラをプリントすればいいと思っていたら、ユニティという会社から、台の iPhone を充電しています。こういう環境なので WiFi が厳しい。

うちのキャラをプリントしてイベントで配りたいと言われてやった

バッテリーと熱と WiFi で困りました。3 日間バーチャル世界旅行体

g e i d a i R AM

OPEN LECT U R E v o l . 1 0

8/11

験をやりました。パノラマ動画のコンテンツは、添乗員にリコーのす。基本は SR ですが、使っている技術はさっきのマルチユーザーのシータを渡して撮ってきてもらったら、2 週間くらいで世界中のいわハコスコです。なのでコストが非常に安くてしかも取り扱いが簡単。

ゆる観光地からの写真が上がってきて、世界旅行を作れました。おただ、スマートフォンを使っているせいで、パフォーマンスがあん

金をかけずに面白いものを作るってまだまだ余地があるなあと。

まり出なくて毎回 8 人のうち 1 名が落ちるっていう致命的な問題があとは、東さんがやっているゲンロンカフェで、ハコスコを使ったあり、すごく困っています。僕監修で、音は evala さんがかなり本気

子どもアート教室をやりました。どうやったかというと、パノラマでやってくれました。監督は池田一真さんとあと映像のプロデュー

静止画を A0 にプリントしました。それでプリントした上に、子どサーは ROBOT という映像会社の４つで制作しました。クオリティ

もたちに「好きなようにコラージュしていいから」と言って 2 時間

として非常に高い。長崎まで行く機会があるひとっています？

ああげて、こっちにペタペタいろいろ貼ったり描いたり塗ったりした。

まりいないですよね、なので今日ちょっと映像だけ見てもらいます

それを、アナログですが、カメラで撮って、もう一回デジタル画像（笑）。まず入ると、ホワイエのところでナイトメアラボのイントロにして、ハコスコの中に読み込んで自分が作った世界に入り込むイ

ダクションビデオを見てもらいます。これはお金がなかったので出ベントをした。これはすごく面白くて、自分が作った世界の前と後

演者は全部身内です。僕も出ています。（映像）こういうのを最初にで空間の意味が全然違う。これをデジタル、もしくは動画でいろい見ます。8 人ずつ体験してもらいます。部屋はこんな感じです。マイろ加工すると面白いのができるだろうなと思っていますが、そのあンドポットというのがここについていて、椅子に座る。椅子は床屋

たりはクリエイターのみなさんにお任せしたいと思います。

で使う椅子なのでちょっと高めになっていて足が地面から浮くようそのうち、ポニーキャニオンと提携することになりました。ポニーになっています。床屋で使うローブをつけてもらって体が隠れます。

キャニオンの新規事業の開発の人たちは、とにかく新しいものは端次に動画を見てもらいます。ライブと過去がごっちゃになっているからやる人たちで、新しいことをやって結構な割合で失敗して、怒のでちょっと分かりにくいかもしれません。（動画）これはただの映られつつもやめないグループです。今回、ベイビーレーズというグ像で動きませんが実際にはヘッドトラッキングします。現在と過去

ループの武道館ライブでハコスコを作って売りました。ここでの挑がこういう感じでブレンドされ、見ている人にはわからない。みな戦はいくつかあって、ひとつはいわゆる対面の物販をやったことがさんはもう SR が何だか分かっているから何が起きているかわかるとなかったので、どれくらい売れるのかわからなかった。とりあえず思いますけど、この映像が本当だって思う人もいます。

500 個作るかとちょっと弱気な数で作った。ベイビーレーズの武道

最近だと KDDI さんが出すインフォバーのキャンペーンを伊勢丹と館は 1 日しかやらなかったので。結局ほぼ完売で 480 個くらい売れやります。2 月 11 日に伊勢丹でデジタルライフスタイルというキャた。このときはライブ映像を 2 種類撮りました。（映像）これは好き

ンペーンをやります。まずハコスコは 3 種類作ります。インフォーバー

なところを見ることができます。ハコスコで見ると妙な臨場感があ

ハコスコ、ミベール、あとアンリアレイジと三種類のハコスコを使る。アイドルのすぐ横から撮影した映像を提供したのはひとつの挑います。ハコスコインフォバーというアプリを作りました。コンテ戦でした。

ンツとしては 3 種類入っていて、ひとつは伊勢丹ジャンプというジャ次に Lead というグループをスタジオで撮りました。この三人のダン

ンプコンテンツで、ドローンを使って下から上まで上がる過程をパスグループが真ん中のカメラに向かって、つまりお客さんに向かっノラマ映像で撮って、それを擬似的に体験するものです。伊勢丹のて目線を決めて踊るというものです。3 日くらい前にリリースしまし建物の中を突き抜けてさらに上に昇る映像を作りました。これはアたが、Lead のファンの人たちは狂喜乱舞。好きなところが見られて、ンドロイドしかないので、もし良かったらグーグルストアでダウン

足だけずっと見ている人もいれば顔だけ見ている人もいます。コン

ロードできるようになると思いますので、一回試してみてください。

テンツ制作の一つの方法としてカメラを中心として、アーティスト

伊勢丹ショッピングは、ジャンプが縦だとしたら今度は横方向で、たちがファンに向かってパフォーマンスをしたのがすごく効果的だ

伊勢丹の中をガーって急速にタイムラプスの映像でぐるぐる動きなということですね。

がら合間合間でアイテムを紹介するというもので、最後のアンリア

ハコスコの目的は SR をやるというお話をしました。SR をどうすれレイジのファッションショーは、去年のパリのショーで撮影したパ

ばいいのかという、そのソリューションとしてハウステンボスで 12

ノラマ動画を 2 本くらい短くしたものを楽しんでもらうコンテンツ

月 30 日にオープンしたナイトメアラボっていうコンテンツがありまです。
僕らは VR のプラットフォームを作り上げたいと思い、VR コンテンツをアップロードできる共有サイトを作っています。23 日にリリースしたのはハコスコストアサービスです。これは誰でも一本あたり 1
ギガまでアップロードできるので、パノラマ動画をあげてもらえればいい。3 月くらいまでにこれをアプリと統合した形でブラウザからアプリまで高画質なものを体験できるプラットフォームを作ろうと思っています。また課金のコンテンツをこのなかにおきます。さきほどのポニーキャニオンのコンテンツは基本的にハコスコを買った人にシリアルコードを渡して、それを入力することでコンテンツを見る仕組みにしていますが、それとは別に普通にコンテンツをユーザーが送ったり買ったりできる仕組みを作ろうと思っています。

g e i d a i R AM

OPEN LECT U R E v o l . 1 0

9/11

SR の今後

えないけど、過去の誰かの手が猫を触るのを見ながら自分も手を動
かすと触覚は生まれます。それはすごく不思議な感覚ですが、結構

僕はアート表現のプラットフォームとしてもいろいろ有効だと思っな割合で生まれる。だから映像と自分の動きが同期していると、そています。インスターレションとかはそのまま記録に残せないし、れを脳が勝手に埋めてくれることがあって、そうすると触覚をそん

体験も記録に残せない。だけど擬似的なものであっても、このパノ

なに厳密に与えなくてもいいのではという話を研究者としています。

ラマ動画で一回記録をしておくと少なくともなくならない。アーカ

ジェミノイドというアンドロイドを作っている石黒さんは、触覚なイブとして体験を残すやり方はこれから広まっていくと思う。5 年後

んてどうだっていいと言います。視覚で触覚なんて出ちゃうからいにオリンピックがありますから、いまは「パノラマ動画？はあ？な

いじゃないと。ただまあなんらかの形で外部から操作できる形の触にそれ」とみんな思っているかもしれないけど、5 年後はアーカイブ覚は与えたい。例えば指先だけでいいのか、手全体なのかとか、その基本にならないかなと期待しています。そういう意味でパノラマ

こは分からないです。でもやりたい。

動画に関してクリエイターの方々が参入してくれると嬉しく思いま

香りに関してもいろいろなデバイスがありますが、いまひとつなんす。おそらく映像を作られる方々はパノラマ動画の表現の仕方とかですね。例えばね、10 種類の香りを小さいカプセルに入れてこっち

編集もゼロから始めなければならないことがすごく多いと思います。

で刺激を与えるとシュッと出て香りがするとかいうデバイスはある

通常の映像の歴史は 100 年以上で表現の様式が定まっていますけど、けど、うーんっていう感じですね。

パノラマはまだそれがないので、作っていってくれるとすごくありがたいと思います。

質問者：色々と凄い体験を作り出していると思いますが、ご自身であと会社としては、アンリから 3000 万くらい出資していただいた

これはすごい体験したなみたいなものって、VR のことでも構わない

ので、1 年くらいはやっていけると思います。ハコスコのようなビジですし、他に何かあるのかお聞かせ願いたいなと思います。

ネスを一年やって、これくらいのプラットフォームを短期間できちっと作って回している会社は世界でも他にないと思うけど、これが実

藤井：最初の SR の、過去と現在を切り替えるだけっていうのでも充現できたのはひとえにうちの家内、太田のおかげです。彼女はいま分分かりにくかったけど、さっきのアートパフォーマンスのミラー

までいろいろな会社の、とくに外資系のスタートアップをたくさんジュの制作のテストをやっているときに、過去と現在をブレンドしやってきました。最初 SR の話をしていたときは「そんなの全然だめ」

た瞬間っていうのがあって、それを見たときに僕は物凄い背筋がゾと。スケーラブルではないというのは当然で、まったく興味を示さ

ワゾワって来て、これは本当に完璧に分からないものが作れるだろなかったのですが、ハコスコを作ったときに、これだったら行ける

うと分かった。その時に感じたのが、能の世界とすごくよく似ていというある種の勘があって、そのとき働いていた楽天を辞めて手伝っると思っています。能の世界では生きている人と死んでいる人が普てくれるようになりました。彼女がいなかったらハコスコはまった

通に混じって会話したりする。あれと凄くよく似ていて、現在なのくできなかったと思っています。そこはすごく感謝しています。

か過去なのかわからない。しかも同じ人が二人いたり、もしくは違ハコスコというビジネスはプラットフォームですけれども、まだ出う人がいたりすると、どちらかがもしかしたら死者なのかなとか、口がどこかよく分かっていません。出口を作るのはコンシューマー

あの感覚はすごく面白いと思います。でもそういうデバイスがなかっだし、クリエイターです。おそらくパノラマは大きな表現のストリーた鎌倉時代の人が同じようなことをやっているわけで、デバイスは

ムになるはずなので、そこで出遅れるともしかしたらそのあと完全いらないのかもしれないと思ったりもする。だからやはりリアリティに追いつけないかもしれない。そういう点でクリエイティブに関わというものは僕らが頭の中で作ってしまえば不思議なことが作れる。

る方はあんまり無視しないで是非積極的に関わってくれると嬉しい

もちろんそういうものを考えない人にデバイスを作ってやると、そです。以上です。ご質問をお受けします。

こに簡単に到達できちゃう。基本的に現実は全て幻だということを繰り返し言いましたけど、それは仏教の悟りのプロセスとよく似て

柿沼：藤井さんありがとうございました。去年の 9 月にお会いしたいます。中沢新一さんにこういうのを作ってこんな感じですよと言っ時から本当にいろんなことが動いていて、それだけでもちょっとびっ

たら、それはまさに同じだと、悟りへの第一歩だと言われました。

くりです。目まぐるしくお過ごしのなかで、今日来ていただいてど

第一歩の次は何ですかって聞いたら、教えないって言われました。

うもありがとうございました。では折角ですからフロアの方からごもしかしたら次は物凄い修行をしないとだめなのかもしれないけど。

質問を受けたいと思いますけど、はいどうぞ。

でもインスタント解脱的な作用が SR にあって、それはそれで僕は価値があると思う。

質問者：すごく面白かったです。質問は、SR とハコスコ、両方とも視覚と聴覚をコントロールすると思うんですけど、そこに何か他の質問者：SR のところでゾンビが出てきたと思いますが、あのゾンビ感覚を入れていく予定があるでしょうか。

に関しては本当に恐怖感を感じたのでしょうか。出てきたのはどちらかというと手作り感のあるゾンビだったと思うのですが、実際に藤井：それは常に言われることですけど、ちょっと難しいですよね。

SR の中であのゾンビを見たときに本当にゾンビがいるという錯覚に触覚は結構視覚で補えるところがあって、例えばここに猫がいてね、なるのでしょうか。

猫の首を触る映像をここから撮るとする。それをあとから見て、自分も映像と同じような手の角度にする、猫はいない、自分の手も見g e i d a i R AM

OPEN LECT U R E v o l . 1 0

藤井：同じ部屋でやると、例えばこの部屋でここにいる人たちの 5
10/11

人くらいが「あああ」とか言って床に倒れてゾンビになって隣の人

性の基本的な能力。なので、別にどうでもいいけど、やらないと損に襲いかかってくると、まあみんな逃げますよ、間違いなく逃げる。

するからやっておけばいい、といった程度の自分の行動規範や、絶あれが逃げなかったりするのは、もう戸惑って何をしたらいいのか

対やらなければいけないと言われても、苦しくてしょうがないから分からないのが一番ですね。すぐそこにいるから動けない。そんな「しょうがないからやるけど本当はこんなこと馬鹿らしいよね」とバカな、と思いながらも頭の中でそれを説明しようとする。「あれがいってやると楽しくなるかな、だから結構繋がってる。

チカチカしていて、でもさっきは本人だったし、あれは現実だからどこで切り替わったのだろう、分かんない、うーんでもゾンビ来ちゃ

質問者：はじめ SR のアイディアを思い浮かべられた時に、結構今とうな、来ちゃった」となる。みんな一応考えます。考えてもどうし違って実現のテストのコンセプトを作るのは大変だったと思います。

ようもないことが起きるので、素直な人はただ怖がる。考える人のいつ確信が生まれたか、どうやってお金を集めたか、実現が難しい段方が楽しめない。基本的にはもうどうしたらいいかわからない状態

階でどうやって進めたかというお話を伺いできたら嬉しく思います。

にみなさん陥る、ということは 100% 嘘だとはみなさん思っていな
いということ。100% 嘘だとわかっていたら笑い始めますからね、

藤井：現実と仮想が分からないような環境を作ろうとした時に最初例えばさっきちょっと話しました、セクハラインターフェイスの女にやったのは、まず VR の王道をやろうとしました。そこに出てくる性版で、森翔太さんがなんか知らないけど「今日は緑のペンキを持っ人は完全に CG でコントロールされていて、リアルタイムにコントてきたんですよ、これを塗ると河童になれます」と言う。だからエ

ロール可能な CG を作って会話をしたり、インタラクションするとピソードの一つでは河童の森さんがプロポーズするのが一個あって、その相手の反応が社会的にどういう風に変わるかみたいなことを見それは、明らかに嘘なわけです。嘘だっていうとみんな笑い始める。

ようと思って作り始めたけど、全然うまくいかない。俳優さんなり

楽しんで笑い始めるけど、ゾンビを笑い始めた人はいなかった。ど登場人物の行動をモニターするのに、モーションキャプチャーの装うしようかわからない時は、現実かもしれないとちょっとでも思っ置を買って、カメラ一台が 500 万くらいするのを 12、3 台使って。

ている人は戸惑ったままだと思う。河童の森さんは明らかに嘘だか

それで半年やったけど全然だめで、もうやめようと思った時に、さっら笑える。その辺が微妙に違う。

き言った脇坂君がやってきて、このカメラならできますよって言うから、「いくら」って聞いたら 200 万と言うから買ってもらって一ヶ質問者：飽きてしまった社会性の研究との関連ですが、現実との境

月半くらいでできました。

が分からないような仮想を体験するのは、繰り返しおっしゃっているように、いかに現実が主観的なもので成立しているかみたいなこ

柿沼：本日はお忙しいところ本当に有難うございました。企画趣旨とを実感する装置だと思いました。一方で社会性というのはそれをに書きましたが、藤井さんは別のインタビューで、子どもの頃から課題にして思考を始めるというか、他にも主観性があって、だけど見られること・見ることにこだわってきたと話されています。そし一緒にいるという課題じゃないですか。これだけ技術的に現実の主て大の SF ファンであることが、いまのハコスコにつながっている感

観性を高めていった今、飽きてしまった社会性の研究と、藤井さん

じがしました。いろいろご自身が変わったとお話されていましたが、の中で思考がリンクするような新たな問いとか新たな発見ってある眼科を選ばれたことから理研に行かれた流れは、やはり筋が一本通っのでしょうか。

ているように思いました。冒頭で社会脳はもう飽きたと言われましたが、私は多分その次に繋がったものがハコスコなのかなと思い面

藤井：社会性の研究と SR の話は結構似たところに到達しています。

白かったです。どうもありがとうございました。

社会性の一つの大きな要素はルールです。自分が行動する規範。ルー
ルをいかにその場の正しいものに合わせていくかが社会性の機能です。この場でやってはいけないことをやってしまうと問題が起きる。

講師プロフィール：藤井直敬（ふじい・なおたか）

例えば僕がいきなりもしくはこのなかの誰かがいきなり服を脱ぎ始1965 年 広島生まれ

めて歌を歌い始めたら、別にそれ自体はやってもいいと思いますが、1991 年 東北大学医学部卒業。同大医学部眼科学教室にて初期研修

いまここではやってはいけない。そのルールはどういう風に決まっているかというと、周りの人であったり、環境であったり、文化だったり、それによって決まる。ルールにも絶対的なものはない。どこ後、同大大学院に入学
1997 年

博士号取得

1998 年より MIT（マサチューセッツ工科大学）、McGovern Institute
Graybiel Lab にて上級研究員にも。1 分前まで正しいとされていたことが、今はできないというこ

2004 年より理化学研究所 象徴概念発達研究チーム 副チームリーダーとはいっぱいある。たとえば友達と一緒に誰かの悪口を言っている2008 年より理化学研究所 適応知性研究チーム チームリーダー

ときにその悪口を言われている当人が入ってきたら、今まで言えたことが言えないですよね？

2014 年 株式会社 ハコスコ 代表取締役

それを言ってはいけないというルール

がそこで瞬間的に立ち上がる。でもその前まではみんなで言って笑っていた。ルールが変わったことが分からないで、その人の悪口を言うと大騒ぎになります。つまり全てが相対的だということ。絶対的なものは何もないというのは SR で感じることと全く同じで、ルールをいかに操作するか、もしくはルールにいかに従うか、それが社会g e i d a i R AM

OPEN LECT U R E v o l . 1 0

主催｜東京藝術大学大学院映像研究科
平成 26 年度文化庁「大学を活用した文化芸術推進事業」
企画・編集：柿沼美紀（geidaiRAM） デザイン・写真：和田信太郎
広報：小形幸（geidaiRAM） 映像：飯岡幸子 (geidaiRAM)
採録：田辺裕子

レイアウト：蓮沼昌宏
11/11