特集特別寄稿

夢をツナグ技術

デジタルネイチャーと身体性：映像から物質へ
Digital Nature and Body Presence:from the images towards the matter～夢中力﹁好きだからできる！﹂～

落合

Yoichi Ochiai

1.

はじめに情報伝達系が世界を支配した20世紀を映像の世紀と2017年が始まった．iPhoneが発表されて2017年呼び, その対比として, コンピュータによってあらゆるもの1月で10年になった．この10年で生活そしてそれをのが「ブラックボックス化」＝「魔術化」した今世紀の姿取り巻く産業を最も大きく変えたもの, それはスマートを, アメリカの社会批評家モリスバーマンの「世界の再フォンだと思う．

魔術化」という本になぞらえて, 魔法の世紀と呼んだもスマートフォンはおそらく21世紀で, もしくは有史以のだ．人はものの仕組みに無頓着になっていく．

来, 最も人の生活を「高速に」かつ「ダイナミックに」変え魔術化は, 人が動かす社会システムにも大きな影響て行った装置でありインフラだ． それ以前のタッチパをもたらす． 例えば近年のSNSに関する調査結果によ

ネル型PDAで成し得なかったことを,「スマートフォンとれば人は真実よりもデマの方を好んでシェアする傾向にいう象徴的ハードウェア」と「それを成り立たせるソフトあるし, SNS上のコミュニティの中で一人一人が好んウェア流通プラットフォーム」
および「通信インフラ」の組だ世界を好んだように生きている．このような感覚を拙

み合わせは, 軽々と超えていった．たった10年で劇的

著では, 貧者のVRと呼んだ．一人一人はそれが現実だに世界の全てを作り変えて行った．もはやIoTによる技と思って生きてはいるものの, タイムラインやコミュニティ術革新は我々の生活習慣と文化を不可逆なほどに変えが見せる現実は, 事実とはやや偏った異なる現実だ．てしまった．

2016年は楽観的シンギュラリティの年だったと思う．

誰とでも連絡がつき, 待ち合わせ場所と時間を厳格

人間の知的処理能力に匹敵する知的機能がインターに決めずとも人に会うことができ, 道に迷うことがなくな

ネットの側に計算機技術の進展によって備わりつつあり,り, どこでも時間を潰すためのコンテンツを入手できる

その精度と適応範囲は日進月歩だ．コミュニケーショようになった． 人はインターネット上に第二の言論・視ン・ロボティクス・ファブリケーション・バイオ・オーディオ

聴覚空間を作り, 住所を持ち, デジタル空間にもう一度ビジュアルへの展開によって, 日々の生活のあらゆる物生まれた．見ているもの, 聴いているもの, その日の様

質的表層（マテリアル）や実質的表層（ヴァーチャル）が子は瞬時に共有できるようになった．この地上で, 誰もインターネットやコンピュータとの境界面になった．去が発信者であり表現者となった．デジタルヒューマンに年の記事（https://www.fuze.dj/2016/08/2016-

必要だったものは, インターネットとオーディオビジュア

yoichi-ochyai.html）にも書かせてもらったが, 世間をルで接続できる第二の目と耳であったように思える．

賑わしたこれらのニュースに関して, 個々の技術的進歩

それは前世紀の映像システム－, 目と耳の体験を電3

陽一に限定すれば, 我々は比較的好意的に受け取っていると波に乗せて大衆発信する装置になぞらえるなら, 集団いえるだろう．個々の技術発展が人間の能力を超えて行への体験共有から個人の能力拡張への大きな舵きりのく, この点では「個々のシンギュラリティ」
について我々は一つである．映像の世紀は, コンピュータという魔術的好意的に受け取った1年だったのだと思う．

ブラックボックスによって, そして個人の手の中に握れ人の技術をコンピュータが超えて行くことによってコスるサイズで拡張された．そのダイナミックな変化がわず

ト削減と多様な生活スタイルがもたらされうることを想か10年で為されたのだ．

像し胸を躍らせた－, 誰もが海外旅行に行って言葉が一昨年, 2016年を占う上で魔法の世紀 1）という本を通じ, 好きな国の人とSNSで繋がって対話することが上梓した．魔法の世紀という言葉は, マスメディア型のでき, 写真や絵を描く際もアプリのサポートが得られる．

AISIN TECHNICAL REVIEW VOL.21 2017

図1

デジタルネイチャーと身体性：映像から物質へ

特集

図2 物質・実質・人・機械で張られる象限．この垣根が融合していくのがデジタルネイチャー

Human Breadboard（2011年）人, 昆虫, 植物が接続された巨大な電子回路を作成しその中でやり取りされていく電信を鑑賞する装置．ネットワークで接続されたこの世界, デジタルネイチャーの世界観を表現した．

よって守られた帝国へと差し出して行く．この割合は旧言語の壁が崩れていき, 表現も民主化して行く, そこに金だ．つまり, 西海岸を中心としたイデオロギーによっ来の東インド会社に対する英国のそれよりも大きい上納

夢見られるのは平等に豊かで多様な生活だ．人が専門て新たな帝国支配は完成したのだ．この問題にはどこ的修練の上に知的技術を習得し, その恩恵として独占のローカルでも同じ問題にぶつかる．我々がアメリカ大的に担っていたタスクが計算機技術とインターネットの統領選で見た二色のアメリカは, 有価証券とITの帝国もたらす民主化によって「解放」されて行くこと－, 持て支配によってもたらされる青いアメリカと, 赤いローカルなかったことを手に入れることを多くの専門的修練を持なアメリカの対比でもあった．

たない人々は歓迎してきたのだ．翻訳者に頼らずとも翻貧者のVRは大きい影響を社会にもたらす．Brexitや訳が精度高くされうることを歓迎し, 誰かに絵を描いてトランプ旋風など識者が世論から推測するだけでは, 容もらわずとも描画や写真アプリによるコンテンツ作りの易に予想できない現象が垣間見られ, 英オックスフォーしやすさを歓迎した．

ド出版局は今年の言葉としてPost-Truth（ポスト真実）

2040年に職がなくなるという漠然とした展望に何のを選んだ．このポスト真実という言葉は, 客観的な事実価値があっただろうか, その多くは前世紀の終末論にや真実が政治的な選択において重要視されないという似ていた．人々は共通の疑問を持つようになった．
「将意味の言葉である．ここに僕は21世紀の人間性を垣間来人工知能に職が奪われたら人間はどうやって暮らして見た感覚を覚えた．魔法の世紀だ．

いったらいいですか？」「 ベーシックインカムが導入されて働かなくてよくなるから好きなことして暮らせばいいんですか？」という質問を講演するたびに受けた．

2.

身体性とデジタルネイチャー

私はこの変化をフラットに受け入れた上で, そういっでも考えてほしい．そのような変化のきっかけを与えた魔法の世紀の世界観や自然観をデジタルネイチャー

たのはスマートフォンだ．たった10年で我々の生活習慣と我々の研究室では呼んでいる． 我々が想像する未来を変えてしまった．さて, では, そのシステム変化で我々像, デジタルネイチャーとは, ユビキタスの末に実質は全体としてどんな新しい金脈を掘り当てただろうか？

（バーチャル）と物質（マテリアル）, 人（ヒューマン）と機ことローカルの問題について考えれば答えは芳しくな械（ボット）の区別がつかなくなり, ごちゃ混ぜになった

い．いつでもどこでも繋がるインターネットは新たな産世界だ（図１）．そういった世界を実現し体現していくた業を多数生み出した．その多くは情報化・機械化によるめに, 我々はアート表現やデザインを含め, 学際的にまコストカットであり, 特殊技能や特権価値の民主化でたがる工学的な研究（図2）を行っていくことをモチベーあった．それによって産業の一部は衰退し, 一部は大きションとしている．

くなった．しかし, ローカルの日本について考えれば,デジタルネイチャーは近い． 我々は今, 何がバー

我々は世界を制するようなソフトウェアプラットフォーム

チャルで「実質的な存在」なのかそれともマテリアルでを持っていない．

「物質的な存在」なのかの区別がつかない世界に到達しスマートフォンはそのハードウェアのみではなく, アプようとしているし, Botやプログラムとの会話なのか生身リストアとクラウドの連携したOSによってインターネットの人との会話なのかの区別もつかない状態も迎えつつ上に帝国を完成させた．今我々の上にのしかかる新たある．それは今のスマホ社会が徐々に体現しつつあるな帝国支配はアプリストアの売り上げの３割を税収前に「ユビキタス」という言葉よりもよりドラスティックな変化奪って行き, リンゴの形をした帝国と緑色のロボットにであり, 人間中心主義から, 機械と人間のハイブリッド

AISIN TECHNICAL REVIEW VOL.21 2017

4

図3

Fairy Lights in Femtoseconds（ 2015年）上図指先に表示した妖精の図，下図は植物のそばに描画した例．
低平均エネルギーレーザーゆえの表現．

主義への変化を迎えようとしている．

図4 Pixie Dust（2014年）
上図コンピュータシミュレーションと実際にシート状に浮かんだスチロール粒の例．下図は空中に十字型にスチロール粒を並べている．音響ポテンシャル
場が４つのフェーズドアレイの真ん中に生成されている．

3.

映像から物質へ

では人工知能技術やプラットフォームを海外に制さ（図3）
2015年, Fairy Lights in Femtoseconds 2）

れている今, 我々のどこにイノベーションの余地があるというプロジェクトを発表した．これは30fs-269fsの短のか, 私はそれを身体性だと思う．

パルスのフェムト秒レーザーを用いて, 短時間で消失

情報技術はコア部分と外周部分で違う戦略を必要とするプラズマを作り出すことによって, 空中に映像を描する．我々の身体が触れうる技術に関しては, モノの持つき, その描いた絵に触れると絵が反応するような空中触丁寧な仕上がりや, 自動車の安定性能, 食事やおもて覚映像を作り出すプロジェクトだ．

なしに至る身体性サービスなどが重要だ． IoTの中心

既存の映像ありきのコンピューティングから, 物質とにあるのが人工知能技術ならば, 我々が今やって行くべ映像の垣根を越えるため, 触覚ホログラム映像を作りきものは, 身体性にかかわるIoT外周技術であると思う．

出すための試みとして研究を続けている．写真の妖精

物質（マテリアル）と実質（バーチャル）の垣根を超えの像はIMRA製の高繰り返しのファイバーレーザーをていくのはスマートフォンやタッチスクリーンを用いた平面的で映像的なメディア技術だけでなく, 身体や物質にかかわるようなより高解像度の体験だ．

用いて高解像度に描き出した触れる妖精像だ．
映像でも物質でもないものー, それを生み出すテクノロジーと表現に惹かれている．これまでに, フェムト秒

そういった議論を展開する中で今年はいくつもの実レーザーと超音波を組み合わせた空中触覚研究 3）や,例を発表してきた．2016年はデジタルネイチャー研究

超音波ホログラムを用いた空中物質グラフィクス 4）（図室を発足して2年目の年で, いくつものプロジェクトが４）など多彩な表現を行ってきた．

日の目を見た． ACM SIGGRAPHやSIGGRAPH

身体性を用いたメディア技術を考えるときにエジソン

Asia, CHI, UISTなどで研究発表や展示を行い, Arsの時代のことをよく考える． エジソンはキネトスコープ

Electronicaでは研究室を挙げての十数作品の展示をや蓄音機など, リールの回転から映像を生み出す作品行った．またマレーシアでも落合陽一の個展「Imageをつくったり, 円盤の回転を利用して音を再生できる蓄and Matter by Yoichi Ochiai: Cyber Arts

音機を発明したり, 人間の視聴覚を運動エネルギーのtowards Digital Nature」を開催し, その最終セクショ変換から生み出そうとした． 彼がそうやって新しいメンにはデジタルネイチャーの学生たちと取り組んできたディアをつくり, 人間の五感をアップデートしたとするな作品が展示してある．本稿ではそれらを含めていくつからば, そしてそれがメディアの思考についての創作行為抜粋して紹介したい．

だったなら, それはメディアアートであると再解釈できる．それを着眼点に, 私は今メディアアートとして, エジ5

AISIN TECHNICAL REVIEW VOL.21 2017

図5

Holographic Whisper（2017年）耳元に超音波焦点を生成することによって指向性音響を作り出している．

図6 Leaked Light Field （2016年）微小穴を開けた木質表面材に裏から光源を当てている．

図7 Transformed Human Presence for Puppet Play（2016年）
VRゴーグルをつけた演者と，テレプレゼンス用のロボット骨格．3Dプリント出力された骨格に運動させるためのサーボと立体視用のカメラが取り付けられている．

図8

Coded Skelton（2016年）

ソンがその時代にやっていたこと, オーディオとビジュ

身体や機械の関係性を再定義するようなものが多い．

アルメディアの再定義をコンピュータの計算によって再大別すると, Computational Material, Display,定義しようとしている．

デジタルネイチャーと身体性：映像から物質へ

特集

Human Computationの3つだ． それぞれ, コン

映像と物質, 人と機械, 自然と人工物の垣根を越えるピュータ制御によって素材を作成するプロジェクト, 人ために必要なのは計算機資源と解像度だ．前世紀の映への情報提示を行うプロジェクト, 人とコンピュータの像メディアは, 耳と目の解像度によって定義される知覚垣根を変えていくプロジェクトだ．

器官の写像だった．スマートフォンがその写像を持ち

具 体 的 にはアイシン 精 機と共 同 で研 究している,運べるようにした装置であったなら, これから映像を超Leaked Light Field 6）（図６）というプロジェクトでは,えていくような装置はその解像度の制約を超えていく必

ディスプレイの表面になりうる様々な材質に穴加工を施要があるだろう．

していくことで,透明材でない素材を用いて手触りを残し

Fairy Lightsは視覚と触覚を, 時間方向の高解像度たままディスプレイマテリアルにしていくプロジェクトだ．

化を施したレーザーによって再定義するプロジェクトで材質によって異なるパラメータを調整していくことでソフあった．昨年弊社Pixie Dust Technologiesよりリリー

トウェア的に素材を扱っていくことができる．材質によっスし, 本年CHIで発表予定のHolographic Whisper 5）てCO2レーザーを用いたり, フェムト秒レーザーを用い（図5）では, 超音波音響点を作ることで, 一旦聴覚解像たりドリル加工やケミカルエッチングを施すなど, その度を超えた音響デザインを行い, それを可聴域に戻す

加工手法自体もデザインの一部だ．また, 光がどういうことで, 三次元的な音響分布の生成を可能にしている．

経路で穴を通っていくかを計算することができるので,そういった音, 光によるホログラフィックな基盤技術

立体的な光線の打ち分けを行うことができる．「物質的を元に弊研究室では, ユーザと人の間にあるアプリに実質性を追加するディスプレイ」を作るための加工技

ケーション技術のデザインを行っている．

術になっている．今後の世界では物質的なディスプレイによる価値付加や情報付加が重要になっていくことを実4.

デジタルネイチャーのデザイン

装によって示すプロジェクトだ．

デジタルネイチャーの研究テーマは図２に示したよう身体とバーチャルリアリティを考えるとき, 弊研究室

な境界デザインの考え方に基づいている．物質や映像,で行っているTransformed Human Presence for

AISIN TECHNICAL REVIEW VOL.21 2017

6

図9

Optical Marionette（2016年）カメラを使ってビデオシースルーにしたVRゴーグルを用いて， 視覚誘導することにより人間の歩行方向を操作する．

図10 幽体の囁き (2016年）校庭に並べた机椅子の付近だけ指向性スピーカーを用いた空間音響によって教室の喧騒が聞こえる．

Puppet Play 7）（図７）というプロジェクトは興味深いサを用いて, 楽器用のアクチュエータとして用いるプロンプルになりうると思う．これはVRに没入した人間の骨ジェクトだ．こういった身体制御とアクチュエータ利用格的な身体性を他の形に変換していくプロジェクトだ,の関係性を探っていくことで, デジタルネイチャーの中3Dプリンタを用いて骨格を印刷し, 人間の身体動作にの人間の立ち位置を模索している．

合わせてモーションを計算し設計し, モータによる動きを加えていくことで人間の身体動作をさまざまな形に変幽体の向こうへ換させることを目標にプロジェクトを進行中だ． VR

2016年に開催された県北芸術祭で, 私は廃校の中ゴーグルで没入させ, テレプレゼンスとして用いると,にある空気感に作品をなじませていった． 幽体の囁き

人の体の形は自由になりうる．そして新たな身体は需要（図10）と呼ばれるこのプロジェクトは． 超指向性スに応じてプリンタで創る．ボットとしての振る舞いと人とピーカーで環境音を再生成するプロジェクトだ, 建築家しての振る舞いの差を研究するなどさまざまなプロジェの妹島和世さんとのコラボで別バージョン「空気のせせクトを並列して行っている．

らぎ」も作った．物質的には存在しない川の気配を音響ロボティクスだけでなく, それを構成するアクチュ

75.

再現で作り出す．

エータの研究も行っている．Coded Skelton 8）（図8）と今後はデータの幽体的存在感を意識した作品を作っ名付けられたプロジェクトは3Dプリンタで出力した材ていくかもしれない．今, 映像というバーチャルなもの質の変形を考えるプロジェクトだ．アクチュエータとしてと, 身体やロボティクスというマテリアルでできたものが動く3Dプリンタによる構造を制作し, シミュレーションこの世界のコンピューティングや表現の中心になってい通りに変形させていく．形状記憶合金に電気を加えるこるが, それを超えてどうやってマテリアルでもバーチャとで自由な変形をデザインすることができる．これによっルでもないものを生み出し, その存在を知覚していくのてロボット等の部品を組んだりすることができ, その製か．これから我々がデジタルヒューマンに変換され, 時造プロセスもコンピュータとそのファブリケーションを間や空間の障壁を超えて世界中に存在できるように基軸に考えていくことができる．こういったプロジェクトになったとき, その存在はどういうアナロジーで語られる

よって実質と物質の関係性はより崩れていくことだろう．

べきか．僕はそれを幽体だと思っている．

図2における物質と実質の境界面についてプロジェ

2016年11月に行われた慶応大学での「2020僕らクトを紹介してきたが, 人と機械の境界面はどうだろうの開会式」でのイベントで, 様々なクリエータが2020か．図9に挙げたのはOptical Marionette 9）（図9）と年のデジタル演出の方法を発表する中, 僕は2020年いうVRゴーグルを用いた光学刺激によって人を操るプロには東京の人口を20億人にしたいという考えを発表しジェクトだ．これによって, 現実世界でもVR世界と同じよた．それは物質的な人類だけでなく, 実質的なデータうな人のマニピュレーションが行えるようになっていく．

人類があちこちに飛んでいる社会を創るということだ．

人間の身体自体をオーディオビジュアル制御で操って実質的なデータ人類が幽体のように振る舞う街． 彼ら

いくことは映像の時代の次のための進化といえるだろう．の存在にオーディオビジュアルの三次元化を用いてどう他にも人間を機械的に制御していくプロジェクトとしやって存在感を与えていくべきか．それを考えていかなて, Human Coded Orchestra 10）および Stimulated

いといけない． デジタルネイチャーの世界への変化は

Percussions 11）というプロジェクトを行っている．これまだ始まったばかりだ．こういった, 物質・実質・人・機械のらは, 指向性スピーカーによって人をパイプオルガンの垣根の跳躍のスピードを上げていくこと, それが幽体のように指揮するプロジェクトや, 筋肉への直接電気刺激舞う未来都市での研究戦略の一つだと私は考えている．

AISIN TECHNICAL REVIEW VOL.21 2017

参考文献1）落合陽一, 魔法の世紀, PLANETS, 2015.

筆 者落合2）Yoichi Ochiai, Kota Kumagai, et al. 2016. Fairy Lights in
Femtoseconds: Aerial and Volumetric Graphics Renderedby Focused Femtosecond Laser Combined with
Computational Holographic Fields. ACM Trans. Graph.35,
2, Article 17 (February 2016), 14 pages.
3）Yoichi Ochiai, Kota Kumagai, et al. 2016. Cross-Field
Aerial Haptics: Rendering Haptic Feedback in Air with
Light and Acoustic Fields. In Proceedings of the 2016
CHI Conference on Human Factors in Computing
Systems (CHI ʼ16). ACM, New York, NY, USA, 32383247.
4）Yoichi Ochiai, Takayuki Hoshi, and Jun Rekimoto: Pixie
Dust: Graphics Generated by Levitated and AnimatedObjects in Computational Acoustic-Potential Field, ACM
Transactions on Graphics, 33 (2014) article no. 855）Yoichi Ochiai, Takayuki Hoshi, Ippei Suzuki, Holographic
Whisper: Rendering audible sound spots in threedimensional space by focusing ultrasonic waves, In
Proceedings of the 2017 CHI Conference on HumanFactors in Computing Systems (CHI ʼ17). ACM, New
York, NY, USA, (in press)

デジタルネイチャーと身体性：映像から物質へ特集

陽一

筑波大学図書館情報メディア系助教／デジタルネイチャー研究室主宰／メディア ア ー ティ スト ／ Pixie DustTechnologies CEO【略歴】
1987年生．2015年東京大学大学院学際情報学府博士課程修了．博士（学際情報学）．2015年より筑波大学助教．デジタルネイチャー研究室主宰．経産省より天才プログラマー, 総務省より異能vationに選出．2015年には, 米the WTNが技術分野の世界的研究者を選ぶ「ワールド・テクノロジー・アワード」を受賞．2016年には, メディアアートの世界的な賞である,「Prix Ars Electronica」を受賞．月刊『文藝春秋』（2016年2月号）では「日本を元気にする逸材125人」に選ばれた．

6）Kazuki Takazawa, Kenta Suzuki, Shinji Sakamoto,Ryuichiro Sasaki, Yoshikuni Hashimoto, and Yoichi Ochiai.
2016. Leaked light ﬁeld from everyday material: designing
material property remained light-field display. In
SIGGRAPH ASIA 2016 Posters (SA ʼ16). ACM, New York,NY, USA, , Article 7 , 2 pages. DOI:https://doi.
org/10.1145/3005274.3005313
7）Keisuke Kawahara, Mose Sakashita, Amy Koike, Ippei
S u z u k i , Ke n t a S u z u k i , a n d Yo i c h i O c h i a i . 2 0 1 6 .
T r a n s f o r m e d H u m a n P r e s e n c e f o r P u p p e t r y. I n
Proceedings of the 13th International Conference on
Advances in Computer Entertainment Technology(ACE2016). ACM, New York, NY, USA, , Article 38 , 6pages.
8）Miyu Iwafune, Taisuke Ohshima, and Yoichi Ochiai. 2016.
Coded skeleton: programmable deformation behaviour
for shape changing interfaces. In SIGGRAPH ASIA 2016
Emerging Technologies (SA ʼ16). ACM, New York, NY,USA, , Article 1 , 2 pages.
9）Akira Ishii, Ippei Suzuki, Shinji Sakamoto, Keita Kanai,Kazuki Takazawa, Hiraku Doi, and Yoichi Ochiai. 2016.
Optical Marionette: Graphical Manipulation of Humanʼs
Walking Direction. In Proceedings of the 29th Annual
Symposium on User Interface Software and Technology(UIST ʼ16). ACM, New York, NY, USA, 705-716.
10）Yuzu Saijo, Kenta Suzuki, Nobutaka Ito, Amy Koike, andYoichi Ochiai. 2016. Human Coded Orchestra: a System
for Extemporary Group Singing Performance. In
Proceedings of the 13th International Conference onAdvances in Computer Entertainment Technology(ACE2016). ACM, New York, NY, USA, , Article 42 , 6pages.
11）Ayaka Ebisu, Satoshi Hashizume, Kenta Suzuki, AkiraIshii, Mose Sakashita, and Yoichi Ochiai. 2016. Stimulated
percussions: techniques for controlling human as
percussive musical instrument by using electrical muscle
stimulation. In SIGGRAPH ASIA 2016 Posters (SA ʼ16).
AC M , N e w Yo r k , N Y, U S A , , A r t i c l e 3 7 , 2 p a g e s .
DOI:https://doi.org/10.1145/3005274.3005324

AISIN TECHNICAL REVIEW VOL.21 20178