2016 年度第 10 回物学研究会レポート「VR 仮想現実と AR 拡張現実によるビジネストレンド」

杉本真樹氏(HoloEyes 株式会社取締役 COO 国際医療福祉大学大学院准教授)

2017 年 1 月 11 日

1

BUTSUGAKU Research Institute第 10 回vol.226

物学研究会レポート

2017 年 1 月 11 日

コンシューマプロダクトへの普及が注目されている VR（仮想現実）と AR（拡張現実）をいち早く導入したのが医療の現場です。CT や MRI を代表とする医療画像を用いた三次元画像やプロジェクションマッピングなど、多彩なテクノロジーが使われるようになっています。個別の生体情報と革新的な技術が融合していく医療の世界は、どのようにデザインされていくのでしょうか。杉本真樹さんに語っていただきました。
以下、サマリーです。

「VR 仮想現実と AR 拡張現実によるビジネストレンド」

杉本真樹氏(HoloEyes 株式会社取締役 COO 国際医療福祉大学大学院准教授)

01：杉本真樹氏

坂井

ディレクターの坂井です。前回に続く医療系のレクチャーです。杉本真樹さんはデザインを勉強したことはないとおっしゃっていますが、デザイナーが担うような人と技術をつなぐ仕事をされているし、スキルも持っていらっしゃいます。デジタルの力を駆使して医療の分野に３Ｄプリンタやプロジェクションマッピングなどをいち早く導入されてきました。
世界のイノベーターが集まるオースティンのイベント「SXSW」などで杉本さんのことを知り、僕は非常に未来を感じました。医療をどう「デザイン」しているのか、お話しいただきたいと思います。

■情報を経験に近づけるためのデザイン
杉本

本日はお招きいただき、光栄です。私は臨床外科医ですが、人がどう動き、社会をどうデザインするかということに大変興味を抱いています。
国際医療福祉大学大学院で教鞭を執っているのですが、医学を教える場でよく話題になる

2

ことがあります。それは「学習は経験である」ということです。これは大変にショッキングな事実で、情報化社会にいる私たちは、ともすると情報を仕入れたら学習した気になりがちですが、実は経験していないものは学びに達しておらず、情報を得たに過ぎないということなのです。では、どうしたら情報を経験に近づけることができるのでしょうか。私はその鍵が、デザインなのではないかと思っています。
われわれ医療の現場では診断を助ける画像を CAD と呼びますが、CAD から AR や VR へと進化することが世の中の役に立つと考え、率先して導入してきました。
その前段階として、まだプロジェクションマッピングという言葉もなかった 2005 年より、CT や MRI などの患者の医療画像データを患者本人の身体の上に投影し、手術を補佐するという方法を実践しています。
内視鏡を用いた手術は、ナビとなる画像を見ながら行います。経験を積めば画像を見ながら手を動かせますが、経験が不足する若い医者の場合、視線が術野から離れた位置にある画面と術野を何度も行き来してしまい、手が止まってしまいがちになります。こうした術野と画面の距離のギャップを埋めることはできないのだろうかと考えました。答えは実は簡単で、血管や内臓のデータを患者の体表面に写せばいいと気付いたのです。本人の体の上に本人のデータを映すのですからピタリと一致し、手術箇所に至る最適な経路や切開する場所も把握できます。この投影技術を「イメージオーバーレイ」と名付け、モニターもディスプレイも不要の手術支援を Mixed RealitySurgery、複合現実感手術と呼んで実践しています。

３Ｄプリンタで作った等身大の模型も活用しています。アクリル樹脂材を用いて、患者の医療画像データを３Ｄプリンタで出力すると、例えば表面だけ透明で中が透けて見える肝臓を簡単に作ることができるのです。患者の肝臓の模型を見ながら、肝臓内の血管や腫瘍の位置などを正確に把握し、手術のシミュレーションができます。肝臓は人によって形が違うた
め、今までは肝臓の形が分からないことが手術を難しくしていました。そういう課題を実際にデザインの力で解決しているのです。

■業務改善するためのソフト
私はなぜ、こうしたテクノロジーの導入に力を注いできたのでしょうか。2004 年頃までは普通の外科医として勤務し、日々手術をこなし、当直や外来患者の診断も行っていました。
仕事は膨大にあり、レントゲンを一枚一枚見るだけでも多くの時間を費やしていました。
これを何とか効率化できないかと考えていた 2003 年、「OsiriX」（オザイリクス）という画期的なソフトウェアと出合いました。スイスのジュネーブ大学の放射線科のドクターが、自分たちの業務を改善するために考案したソフトで、なんと世界中に無料で配信し始めたのです。医療画像を一瞬で三次元化する DCOM という規格のファイルで、ソースコードも全て公開しています。つまり誰でもダウンロードでき、改変でき、転売することもできるのです。万一バグが生じても、世界中のサポーターが対処していくというシステムです。
私も早速ダウンロードし、サポートメンバーの一人となり、日本語のマニュアルを作りま3した。課題は次々に改善されて開発は進み、今では世界 50 カ国余りでダウンロードされ、ユーザーは 300 万人を超えています。Mac のみに対応したソフトなので、このソフトのためにMac を買う医者が続出しました。
「OsiriX」を使えば、正確な三次元画像を一瞬で作ることができます。また、三次元画像ならば、実際に内視鏡で覗いているかのように体内を診断することができるのです。
数年前にオバマ前大統領が大腸癌の検診を内視鏡ではなく、CT コロノグラフィという、三次元画像による診断方法を選択したことが話題になりました。内視鏡検査は体に穴を開けるため少なからず危険性があり、また何メートルも体内を内視鏡が移動するので痛みも伴います。CT コロノグラフィならば、患者は肛門から大腸・直腸内に空気を注入して CT 撮影を十数分行うだけなので、すぐに仕事に戻ることも可能なのです。
これをもし、デザイナーに依頼し、ゼロから CG で描いてもらうよう発注したら、費用はいくらかかるでしょうか。また、納期も何日かかるでしょうか。私も CAD でやってみたことがありますが、到底、無理なことです。

■技術がもたらす素晴らしいストーリー別の例を挙げてみましょう。私は初代 Mac の「128K」というモデルを持っています。この中には開発に関わった 40 数名全員のサインが刻印してあるのですが、分解して見てみたいと思っても、ご存じのように Mac は分解できないように組み立てられていますし、設計図がないのでバラしてしまったらその後の修理は大変なことになります。でも、CT スキャンという記録媒体にかければ、設計図を後から起こすことができるのです。この発想を私たちは医療でやっているのです。
そのほか、モーションキャプチャーやスキャナーも今後、医療の記録媒体としてどんどん活用されるようになるでしょう。交通事故で片足を失った私の友人は、スキャナーで自分の足をスキャンし、自分にぴったり合ったスポーツ用の義足を自らデザインしました。通常のスポーツ用の義足はとても高価で、足と義足に隙間ができてしまうと血腫が生じたり、あざができたりしてしまいます。けれども三次元画像を使えば、義足の具合を調整しながらデザインすることができるのです。
その友人は、子どもの頃から義足だったため、走ることも遠くに行くこともあきらめがちで、引っ込み思案なところがありました。私は一度、ロッククライミングに連れだしたことがあり、その時の経験で彼はスポーツに目覚め、義足を作りたいと言い出しました。そこで
私は、彼にスキャナーでデザインすることを提案したのです。今では義足で走る団体をつくり、積極的に活動しています。彼に今までで一番嬉しかったことは何かと尋ねたら「娘と本気で走れたこと」と言い、お嬢さんも「その時に初めてパパの本気を見た」と答えたそうです。一つの技術が、こんな親子の素晴らしいストーリーに変わっていく可能性を秘めているのです。

4

■VR は解剖よりも直感的な体験を生む
医療データはこれまでも診断に活用されてきましたが、治療しなければ病は治りません。
では、どう治療に活用できるだろうかという議論が生じ、そこから三次元化して学生や研修医に教えたり、手術室に持ち込んで参照するようになっていきました。とはいえ、初めは手術室で三次元画像を用いていると CG アニメと変わらないと誤解され、遊んでいるのかと揶揄されたこともありました。しかし、私たちは本気で患者のためになる方法として取り組んできました。
三次元画像を患者に渡し、ご自分の iPod で見てもらうようなことも試みました。それだけで、健康に対する意識が大きく変わるのが分かりました。レントゲン画像では伝わらなかったことも、三次元画像ならば自分の体内が一目瞭然で分かるため、患者は病気の怖さや健康の大切さを痛感し、真剣に向き合うようになるのです。
2016 年は VR 元年と呼ばれました。ヘッドマウントディスプレイ（ゴーグル）も手軽になってきていますが、やがてはもっと小さなデバイスになって、コンビニにも置いてあるような時代がすぐそこまで来ています。
ここで VR の仕組みを簡単に説明しましょう。人間の目と目の感覚はおよそ 6.5 センチあり、左右の目でそれぞれ微妙に違う世界を見ています。その視差の分だけ離して右目用、左目用のレンズで撮影し、右目は右の、左目は左の映像をそれぞれ別々に見ると錯覚して物体が立体に見えるという仕組みです。
かつては切り取られた画面の上だけで診断をしていましたが、内視鏡を用いるように、VRで患者の体の中に入って見る視点はとても有効な手段で、これからニーズが高まってくると考えた私たちは、CT 画像の三次元化で経験を積んで、この技術の先取りをしてきました。
VR でのシミュレーションは、三次元模型をただ見るだけでなく、そこで模型を切断したり、検査したりといったことができるので、より具体的な手術プランを作成するのに役立ちます。
シミュレーションは必ず、手術の前に手術室で行っています。同じ手術室で実際の執刀医が手術服と帽子、マスクを着用して臨むなど、徹底して状況や場所が同じになるようにしておき、バーチャルとリアルの垣根を減らしているのです。そうしておくといざ手術となった際に、その時の記憶を鮮明に思い出すことができるのです。

■VR が学びを深化させる
こうした先進技術を導入して、私たちは、患者一人ひとりにカスタマイズしていく医療を目指しています。同時に、現在は、より多くの人からデータを集め、皆で共用できるようなシステムを構築しているところです。
日本は世界で一番、CT と MRI が普及している国なのです。つまり CT と MRI のデータが5世界一余っています。法律で保存が義務付けられている期間は 5 年なので、5 年経つと多くの病院は廃棄してしまいます。これを私たちは再利用して、VR などの情報源として活用しています。
VR は、教育実習にも有効です。VR の画像で体内に入り込みながら手を動かして手術していく体験は、少なからず身心にストレスのかかる遺体の解剖実習よりも楽しい経験であり、より直感的です。そういう体験は記憶に深く残り、人に伝えたいという衝動も呼び起こします。そして人に経験したことを教えた瞬間に、その学びはその人のものになるのです。これが本来の教育だと考えます。
教育とは、一方的に教えることではなく、教えてもらった人が次の人に伝えられるようになることが理想的な在り方なのではないでしょうか。生徒が自分から教えるようになったら成功です。同様に、自分の身体を理解した患者が、自分で医療行為ができるようになることが医療における正解なのだと思っています。
もはや「お医者さんにお任せします」という時代ではありません。自分で身体の変調を見つけ、自分で管理する。あるいは家族の健康を見てあげて、変化に気づいてあげる。その健康データは病院のカルテに置いておくのではなく、自宅で保管するようになるのが理想だと思います。
これを実現していくには、まずなんといってもデバイスを安くしなければならなりません。
スマホなどコンシューマプロダクトこそ、医療の現場で使われるべきだとも思っています。
手始めとして、スマホ版の無料アプリ『VR Body Guide』を作り、リリースを始めました。
ぜひ皆さんもダウンロードし、VR ゴーグルで体内への没入体験をしてみてください。
そのほか、富士通と「拡張ホログラフィー」の共同開発も進めています。アメリカ zSpace
社の没入型ホログラフィック三次元表示システムを活用して、臓器画像などがタブレットから空中へ飛び出しているかのように見える AR の技術で、手術を支援しようとしています。
バーチャル空間で臓器を取り出し癌を取り除こうとする時などに有用な技術です。

■出血する肝臓の模型
ここままでは可視化の話を主にしてきましたが、さらにこの先に可触化という世界が広がっています。例えば、いくらカーナビを見て道を覚えようが、実際に車で走った距離感や運転時に体が総合的に感じる感覚は、それを体験しないと分かりません。手術の技術も同様で、実際に切ったり縫ったりしないと分からないものがあるのです。
VR で理解し手術を支援することは素晴らしい技術ですが、それだけではなく、「もの」があるべきだと考え、3D プリンタで出力した模型を活用した授業をやっています。両方を適材適所に、あるいは混合して使っていこうというわけです。

6ヒューマンセンタードデザインと言いますが、デザインの視点は使う人がどう使うのかと意識することが重要です。手術の前の日、これまで私たちはデジタルのデータとアナログの模型と両方を見比べながら、頭の中と手でシミュレーションをしてきました。そのデータも模型も滅菌して、そのまま手術室に持ち込んで手術に臨むのです。
これを現在は半透明の模型で行っています。癌の位置や血管の位置は、半透明なので一目瞭然となり、これにより手術時に患者の出血量を減らしたり、手術時間を短くしたり、経験の浅い若い医者の成長を促すことにも貢献できました。
この半透明の模型は固いアクリル樹脂製なので、見た目は実物そのものですが触感は再現しえていません。そこで触感を再現するために、どうすればいいかといろいろ考えました。
試行錯誤の末、どんなに柔らかい模型を作っても、そこに水分が含まれていないと本物のようにはならないことに気付きました。しかし、3D プリンタの構造上、水分を含む材料を使うことはできません。そこで逆転の発想をしました。3D プリンタで膜を作り、その中に従来ある中空造形の技術を使って、水分を含んだ樹脂を後から流し込むという、ハイブリッドな技術にあえてアナログを採用する方法です。これで本物そっくりの肝臓を作ることができました。
外科が手術の練習で最も重視するのは、出血の有無です。臓器が出血することで、出血しない方法を学びます。そこで、このウエットの肝臓も出血するように素材を開発しました。
実際の手術では、熱を加えてタンパク質を凝固させて止血する電気メスを使うので、電気メスの温度で溶ける管を作り、血管を再現しました。
こうして実物の肝臓と同様の出血する模型ができあがり、手術の練習用に採用しています。
電気メスで順調に切っていたのに、突然、出血してしまった。「あ、血が出た、まずい」と、人は思うでしょう。この「まずい」という危機感が成長を促します。次は出血させないように考えるからです。今までは出血しない模型しかなかったので、トレーニングに有効ではありませんでした。玩具にすぎなかったのです。助手が引っ張りすぎて肝臓がちぎれてしまう
なんていうことも、練習では起こります。もし実際の患者でやってしまったら、洒落にならないことで、模型だからできるのです。
この経験で、外科医が上達するには重要な因子があることが初めて分かりました。若い時から失敗を経て、危機感を覚えること。実際と同じものを繰り返すこと。危機感は、人を育てます。そのために、高度な模型が大いに役立っているのです。

■VR が一人ひとりの幸福にどう役立つのか
最後に、3D プリンタや VR がどのように世の中に役立っているのか、事例をお話したいと思います。
妊婦の 40％は出産に不安を抱えていて、不安がない人に比べて母胎と胎児に健康上の障害が起きやすいというデータがアメリカの学会で発表されています。私の友人のお嬢さんは身7体が小さく、初産で、出産に大きな不安を抱えていました。母胎と胎児の健康管理には心配を取り除くことが重要です。妊婦の心配を取り除く一番の方法は、赤ちゃんが元気だということが分かることでしょう。そこで超音波エコー写真を VR にしてお父さんに見てもらった
ところ、彼は「触ってみたい」と言い出しました。VR ではリアルな画像が目前に表れますが、触ることはできません。触れるようにするには 3D プリンタが最適です。
そこでお母さんを MRI で撮影し、赤ちゃんの模型を作りました。赤ちゃんが生まれる前に、お父さんもお母さんも赤ちゃんを抱けるわけです。へその緒まで入れたので、命の連鎖が一目で伝わる模型となりました。ここから派生し、赤ちゃんの顔をレリーフにする「天使のかたち」というサービスもできました。
超音波エコーは赤ちゃんの成長を記録する媒体ですが、双子の場合は赤ちゃんが奥に行きすぎて超音波が届かないため、二人目は映りません。知人に双子が生まれるというので、MRIで撮影させてもらい、造形してみました。
すると、赤ちゃんが必死にお互いしがみついて抱き合い、頑張っている様子が分かったのです。その画像は、知人の家の玄関に飾られています。
最後に、私の講演会に来てくれた女性のお話をしましょう。彼女は子宮癌を患い、命を守るために、３年前に子宮と卵巣を全摘していました。命は助かったものの女性としての自信を失い、ひっそり静かに暮らしていたのですが、私の講演を聞き自分のカルテの画像が役に立つのではないかと申し出てくれました。通常は患者が CT や MRI のデータを管理することはありませんが、通院していた病院が閉院となったため、転院するためにデータを取り寄せていたのです。でも彼女は、一度たりとも、その画像を見たことはなかったそうです。
データ画像には摘出した子宮も卵巣も映っていました。これを三次元画像にし、ポリゴン化して VR にし、ご本人に体験してもらったのです。
「３年ぶりに子宮に会いに行こう」という体験です。
VR に没入した彼女は、不思議な行動をとりました。子宮があるあたりで座り込み、手を伸ばしたのです。そこに子宮があるのを体験したかったのだそうです。彼女は「タイムマシンに乗った」と言いました。そして「子宮と卵巣がなくても、私は女性。アイデンティティを取り戻しました」と、言いました。さらに「あの憎たらしい癌が、もう私からすでに取り除かれている。私はもう解放された」とも言いました。
この体験をきっかけに、彼女は人の役に立ちたいと、子宮癌撲滅のキャンペーンに VR 体
験を取り入れようというプロジェクトを始めています。
こういう個人の医療データは、大きな価値をもっているのです。だからもし、皆さんが病気になり CT や MRI を撮ったら、ぜひ活用してほしいと思います。

8Q&A
ありがとうございました。医療のさまざまなお話に、とても衝撃を受けております。で関は会場からの質問はいかがでしょうか。
本日は、刺激的なお話ばかりで、とても興味深かったです。VR や AR のデメリットがQ1:あるとしたら何か、お教えください。
VR はやはりバーチャルですから、限界はもちろんあります。でも逆に、現実では不可A：

能なことも VR ならばできることもたくさんあります。同時にたくさんの人と体験するのも、現実には無理でも VR ならば可能です。全て VR に移行するということではなく、現実で体験することと VR とをうまく棲み分けることで、新しい価値が生まれると思っています。

Q2:関

私から一つよろしいでしょうか。やがて手術室に人がいなくなり、患者以外はロボッ

トや機械という将来はやって来るのでしょうか。
A：

その質問はよく尋ねられますが、患者が人間である以上、人が不在になることはありません。課題をクリアし、責任を取るのは機械ではなく、人です。人は、人から何かを受けとりたいのだと思います。
人工知能やロボット技術で、私たちが予想できないテクノロジーが、きっと将来、生まれてくるでしょう。それが連鎖しながら、新しいものを次々生み出す。その時に、人間は人間の外のテクノロジーを考えるのではなく、テクノロジーも生態系の一部として考えていけば、人間も拡張していくと思っています。
義足のアスリートが健常者のオリンピック記録を超える時代になりました。あれは義足という機械の成果だけでなく、義足によってどう足を動かしたらいいかをアスリートが学んだ結果なのです。人間が学ぶわけです。
イルカの脳はメロンと形容され、人間の脳より進化していると言われています。なぜなら、人間は自然を破壊し人を殺しますが、イルカはそれを止めた生きものです。食べること、遊ぶこと、愛することしかしない。人間の脳は 100％ではなく、まだ拡張する余力がある。未来に向けて、テクノロジーと共存しながら、人間自体を拡張していくことが一つの解だと思っています。

関素晴らしいお話を、本当にどうもありがとうございました。

以上92016 年度第 10 回物学研究会レポート「VR 仮想現実と AR 拡張現実によるビジネストレンド」

杉本真樹氏(HoloEyes 株式会社取締役 COO 国際医療福祉大学大学院准教授)

写真・図版提供
01；物学研究会

編集=物学研究会事務局
文責=関 康子● ［物学研究会レポート］に記載の全てのブランド名および商品名、会社名は、各社・各所有者の登録商標または商標です。
● ［物学研究会レポート］に収録されている全てのコンテンツの無断転載を禁じます。

(C)Copyright 1998〜2017 BUTSUGAKU Research Institute.

10