医学標本館における AR を用いた見学支援システムの開発
杉浦 篤志 1)，豊浦 正広 2) ，茅 暁陽 3) ，北間 敏弘 1)
1) 山梨大学 総合分析実験センター2) 山梨大学 大学教育センター
3) 山梨大学 医学工学総総合研究部
あらまし：医学標本は医学生や看護学生の解剖学の見識を深めるために利用される．しかし，医学初学者にとって実際の臓器の部位を識別することは困難で，書籍のイラストとの比較や教職員の解説により補足している．
本研究では AR 技術を用いて医学標本館における見学支援システムを提案する．AR マーカによるプロトタイプシステムを構築し，次にスライス状の標本の断面画像をマーカとして利用する提案システムに改良した．見
学者はマーカを意識せず，標本の関連情報を得られる．直感的ジェスチャ操作技術を提案システムに追加し，ヘッドマウントディスプレイ装着時においてもジェスチャによる情報操作が可能となり，効率的な見学支援システムを構築する．

A Support System for Tours in A Human Specimen Museumwith Augmented Reality TechnologyAtsushi Sugiura1), Masahiro Toyoura2) , Xiaoyang Mao3) , Toshihiro Kitama1)
1) Center for Life Science Research, University of Yamanashi2) Center for Higher Education, University of Yamanashi3) Interdisciplinary Graduate School of Medicine and Engineering, University of Yamanashi
Abstract: Human anatomical specimens are mainly used by medical, nursing or paramedical students.
However, visitors, particularly abecedarians or beginners, find it difficult to identify parts of organs
without additional explanations offered by the docent. We propose a support system for the tours with AR
technology. Since most of specimens are in a form of cross section, our system used them as an imagemarker. Visitors can get AR information without using conventional AR marker. The system was improvedby adding the function of the natural click interface. Combination with a head mounted display provided
more effective support tools for exhibition.

1.

はじめにかし，見学時の標本の説明は，図 1(b)に示すような各標本の前に置かれた札やイラストと医学標本

実物の人体を用いた医学教育は，人体構造を深館対応の教職員の解説に頼っており，各見学者のく理解させることができるが，社会状況や倫理的知識レベルや専門分野の差異に合わせた説明は十問題に十分配慮する必要があり[1]，検体を用いた分であるとは言えない．

医学教育は容易に提供できない．医学標本を用い

我 々 は 拡 張 現 実 感 （ 以 下 AR:Augmentedることで実物の人体による医学教育を補うことがReality）技術を利用した医学標本館の見学支援シできるが，各部位に分割されたものが多く，標本ステムを提案する．実際の標本の構造やテクスチの意味を理解することは困難である．

ャを活用し，AR 技術によって標本に関する情報

著者らの大学には医学標本館が設置されており，ホルマリン液浸の医学標本が正常構造，病理をはじめ 250 体ほど展示されている．実物の臓器の構造や質感が見学できる貴重な機会を提供する施設である．本学の医学標本館の医学標本の展示外観を図 1(a)に示す．学内の医学初学者，県内の医療関連学校の学生などが定期的に見学に訪れる．し(a) 展示景観(b) 心臓標本の展示例

図 1 医学標本館の展示

を補う．プロトタイプとして AR マーカを利用しは AR ガイドの学習効果は他の 2 つのケースよりた提案システムを構築する．標本の側に設置した優れており，絵画への注目時間では AR ガイドとAR マーカを見学者が情報端末のカメラで撮影す音声ガイドがガイドなしより優れていた．インタる．システムが AR マーカを認識し，情報端末のビュ結果の分析では，ほとんどのユーザはモバイ画面上に人体標本についての情報が表示される．

ル AR ガイドシステムに利点があることを認めた．

プロトタイプシステムでは AR マーカの設置とこれらの結果により AR ガイドシステムに有意性展示景観の問題がある．本学の標本館はスライスがあることを示している．

状の標本が多く展示されている．そのため，スラ科学館における AR 技術による学習支援システ

イス状の断面を画像マーカとして設定し，提案シム[4]では電気特性を可視化し，効率的に学習するステムを改良した．見学者はマーカを意識せず，ことができる．台の上にある電気回路装置に天井AR による情報を得ることができる．に設置されたプロジェクタによって実際の電流がAR を実現するため，情報端末を手で保持する

流れている回路上に光を投影する．電流を可視化ことは見学者にとって負担であった．そこで，情することで，ユーザは電気回路の特性について理報提示装置にヘッドマウントディスプレイ（以下解を深めることができる．システムの有効性を確

HMD:Head Mounted Display）を採用し，手で認するため，提案システムの有無による電気回路保持する負担を軽減させる．また，著者らが開発特性の理解度テストを実施した．その結果，シスした直感的クリックインタフェース技術[2]を追テムを利用した被験者のほうが電気回路の特定に加し，AR によって提示された標本情報を直感的ついての理解度のスコアが高く，システムの有効なジェスチャで操作することを可能にした．

性を確認している．

本稿の構成は以下のとおりである．2 章で関連

これらのガイドシステムのように AR 技術はさ研究を挙げ，本研究との関連について説明する．

まざまな展示施設のガイドシステムとして研究さ3 章では提案手法を述べる。4 章で本研究をまとれ，その有効性も確認されている．

め，今後の課題について述べる．
2.

関連研究

2.1 展示施設での AR 技術の利用
美術館や博物館をはじめとする展示施設では近年，見学者への興味を湧かせるため，情報機器による映像や音声による案内や解説，展示品を触って理解する体験学習など新しい展示手法が展開されている．AR 技術も新たな展示手法の利用に注目され，見学者の関心を高めるために AR によるガイドシステムが多く研究されている．
Chang ら[3]は美術館での AR モバイルガイドシステムを開発し，ガイドシステムの違いによる見学者の行動パターンを解析し，その有効性を確認している．AR ガイド・音声ガイド・ガイドなしの 3 つのケースにおいてそれぞれ絵画に関する理解度のテスト，絵画への注目時間，ユーザへのインタビュにより評価している．理解度テストで2.2 解剖学教育における AR 技術
解剖学は医学にとって最も重要な基礎教育分野の 1 つである．学生は書籍に掲載されているイラストや写真で人体の構造を確認している．医学教
育にとって，実際の人体による教育が不可欠であるが社会状況や倫理的問題により，実施できる機会は稀である．近年では 3 次元 CG を利用した解剖学学習システムが開発・製品化[5,6]され，解剖学の理解に活用されている．
CG 技術を用いたシステムだけでなく，AR 技術を利用した解剖学学習システムも多く研究されている．Chien ら[7]は AR マーカを用いて人体内部の仮想物体を重畳表示する解剖学学習の支援システムを構築している．ユーザは仮想の臓器をマーカによって直感的に操作し，内外部の構造や位置関係の理解を深めることができる．
Meng らによって Kinect による AR 技術を用いた解剖学学習システム[8]が提案されている．人体できる．の重要な骨格のポイントを利用して，ユーザの体情報端末に HMD を採用し，見学者が情報端末と人体 CG の位置を一致させる．提案システムにを保持する負担を減らす．HMD を装着するとタよってディスプレイの横に人体 CG に対応した臓ブレット端末のようにタッチ操作ができず，操作器のスライス画像が表示され，ユーザは対応した性が低下する．そこで，直感的クリックインタフ内部構造を確認することができる．Kinect によっェース技術を付け加える．見学者は HMD 装着時てマーカを使わずに AR を実現し，ジェスチャににおいてもクリックジェスチャで仮想アイコンをよって CG を操作することができる．ユーザは人操作し，タッチ操作と類似した操作性を得ること

体の内外の部位の位置関係や構造をシステムによができる．って把握することで解剖学の理解を深めることができる．

3.1 で AR マーカを使った提案システムについて述べ，3.2 で医学標本の断面を画像マーカとしこれらのシステムはマーカや Kinect によってて利用した提案システムについて述べる．3.3 で直感的な操作が可能であり，ユーザに効率的な学は直感的クリックインタフェースを追加した提案習を実現している．我々は AR における直感的クシステムについて述べる．

リックインタフェース技術を開発している．この技術はボタンを押すジェスチャで仮想物体を操作する技術である．この技術を本提案システムに追加し，AR による標本情報を直感的に操作できる見学支援システムの実現が可能となる．
3.

提案手法

本研究では AR 技術を用いた医学標本館の見学支援システムを提案する．本学の標本館の見学者のほとんどが学生であり，医学における基礎学習を始めたばかりで標本の意味を理解することが困難である．各標本には概要説明やイラストの札と標本館対応の教職員による解説を実施しているが，各見学者への説明の対応は十分であるとは言えない．そこで，AR 技術を利用し，プロトタイプシステムを開発した．見学者は情報端末を標本に向けるとシステムは標本の側に設置された AR マーカを認識し，ディスプレイの標本上に標本に関する情報を表示する．しかし，AR マーカによるシステムは各標本に AR マーカを設置する必要があり，展示景観も損ねてしまう問題がある．
本学の標本館はスライス状の標本が多く展示されている．その断面を画像マーカとして設定し，提案システムを改善することで展示景観の問題を解決した．また，見学者は標本を撮影することでマーカを意識せず，AR による情報を得ることが3.1 AR マーカによる提案システム
AR 環境を実現するためには現実環境と仮想環境の座標を一致させる必要がある．その方法の 1
つに AR マーカと呼ばれる専用のマーカとカメラを使用し，AR を実現する手法がある．それを実現するライブラリである ARToolKit ver.2 を利用する．AR マーカはカメラで読み取りしやすいように特定のパターンが描かれ，正方形の太枠で囲われている．マーカの中央にはマーカを区別するための図柄が描かれている．カメラで AR マーカを検出し，マーカの位置や姿勢を推定してマーカ上に 3 次元 CG を表示させる．
我々は ARToolkit ver.2 を採用し，AR マーカによる医学標本の見学支援システムのプロトタイプを開発した．デスクトップ PC(OS: Windows 10,CPU: core-i7, 1.7GHz, MM: 8GB)を使用して，プログラミング開発環境である VisualStudio2013によって提案システムを開発する．タブレット情報端末に Microsoft 製 SurfacePro3 を用いる．プ
ロトタイプシステムの概要を図 2 に示す．AR マーカを医学標本の側に設置する．ユーザはSurfacePro3 のカメラで AR マーカを撮影する．
そして，ディスプレイ中の標本上に臓器の部位の仮想ラベルが重畳表示される．仮想ラベルが医学標本の部位とリンクしているため，見学者は医学

標本の部位を直感的に確認することができる．

ムに登録する．その断面のテクスチャや形状がマ

我々はプロトタイプシステムによって AR を使っーカの特徴としてシステムに設定される．見学者

た見学支援の有効性を確認した．

は標本の断面を情報端末のカメラで撮影する．シ【情報端末 画面】

ステムはその断面をマーカとして検出し，仮想の仮想ラベル

部位ラベルを表示する．見学者はマーカを意識せず，標本の断面を撮影することで AR による標本情報を得ることができる．
スライス状の標本の断面をそのままマーカとして利用するため，新たにマーカを標本の側に設置する必要がなく，展示の景観を損なわない．画像
マーカによる提案システムによって，プロトタイプシステムにおける問題を解決することができた．
【情報端末 画面】
AR マーカ

図 2 AR マーカによる提案システム
3.2 標本断面の画像マーカによる提案システム
3.1 節のプロトタイプシステムで次のような問題があることがわかった．ユーザは AR マーカを標本と一緒に撮影しなければならず，情報端末の画面領域が AR マーカによって占有され，ユーザの視認性が低下していた．各標本に AR マーカを設置する必要があり，展示の景観を損ねてしまう．
ARToolKit ver.2 では専用のパターンをマーカに使用していたが，画像をマーカにして AR を実現する技術がある．それは特定の物体が映ってい標本断面による画像マーカ

図 3 標本断面のマーカによる提案システム
3.3 AR クリックインタフェース機能の追加

る画像をマーカとして AR システムに登録する．

これまでの提案システムで見学者は AR 環境をシステムにその画像中の物体の角や直線をマーカ実現させるために長時間，情報端末を医学標本にの特徴として設定する．その設定された特徴と同向けて保持していた．見学者にとって，身体的にじ画像がカメラで撮影されたとき，システムはそ負担がかかっていた．そのため，我々は AR 環境の画像をマーカとして検出し，仮想情報を表示すの情報提示装置をタブレット端末からカメラ付映る．これらの処理ができるライブラリである

像透過型 HMD へ変更する．HMD (Wrap920AR,

ARToolKit ver.5 [9]を提案システムに利用する．

Vuzix Corporation)を使用し，ノート PC(OS:

本学の医学標本館では，見学者に臓器の構造やWindows10, CPU: Core i5, 2.5GHz, MM:4GB)

質感を見せるためにほとんどの標本がスライス形に接続する．この HMD はディスプレイが左右の状である．その断面画像を利用し，ARToolKit

目の前にあり，解像度は SVGA(800x600)である．

ver.5 によって提案システムを改良する．
システム

HMD の正面には USB カメラが 2 台組み込まれの開発環境は 3.1 節と同様である．画像マーカにており，水平視野角は 31 度である。それぞれのよる提案システムの概要を図 3 に示す．スライスカメラは VGA(640x480)の映像を取得することが状の標本断面の画像をマーカとして事前にシステできる．提案システムでは 1 台のカメラのみを利用し，カメラで撮影した画像を両方のディスプレの値からこの特徴を検出し，クリックジェスチャイに表示する．見学者は HMD を頭部に装着するを認識する．

ことで，情報端末を保持する負担を減らすことが直感的クリックインタフェース技術を提案シスできる．しかし，見学者が HMD を装着するとデテムに追加することで，見学者は HMD を装着しィスプレイをタッチ操作することができない．てクリックジェスチャによって仮想ボタンを直感

HMD に接続している PC のキーボードから入力的に操作することができる．3.2 節の提案システ操作を行わなくてはならない．そのため，HMD

ムでは AR 環境において常に部位の仮想ラベルがはタブレット端末より操作性が低下する．
そこで，ディスプレイに表示されていた．しかし，見学者我々が研究開発した直感的クリックインタフェーにとって仮想ラベルの表示が必要でない場合があス技術を提案システムに追加する．この技術はった．図 4 に示すように表示選択の機能を備えたHMD と 1 つのカメラを使用して，クリックジェ仮想ボタンを HMD のディスプレイ領域の隅に配スチャと呼ばれる手の動作を認識して仮想物体を置し，仮想ボタンをクリックジェスチャによって操作する．クリックは GUI （Graphic User操作する．AR 環境においてクリックジェスチャInterface）において最も基本的で重要な操作であで仮想ボタンを操作すると仮想ラベルが表示され，る．クリックはオブジェクトを選択するか，コマもう一度操作すると非表示になる．このように見ンドを実行するためにマウスのボタンをターゲッ

学者はこの技術によって仮想情報の表示選択を行

トにカーソルを置き，次に押す動作をする．クリうことができ，効率的に情報を得られる．

ックジェスチャは仮想物体を指でポインティング

クリックジェスチャの検出のため，カメラで撮するジェスチャとボタンを指で押す動作に類似し【HMD 画面】たジェスチャの 2 つを合わせたジェスチャである．
ユーザは GUI におけるクリックと同様にアイコンに見立てた仮想ボタンに様々な機能を設定し，クリック動作で操作する．それによりユーザはクリックジェスチャだけで様々な操作をすることができる．
システムがクリックジェスチャを認識する手順を以下に示す．カメラで撮影した画像から手領域を認識するために肌色領域抽出を行う．画像の仮想ボタン

HSV 色空間上で代表的な肌色 S=(hs,ss,vs)が与えられる．この S から許容距離内にある領域を肌色と判定する．このままでは手指以外の肌色領域も判定されてしまう．手指がカメラの目前にあるためカメラの画像に対して最大領域で表示される．
システムは肌色領域で最大の部分を手指の領域として識別する．その領域の上部の先端を指先の座標として設定する．システムはその座標を使って画像のフレーム間差分を計算する．
それによって，指先の速度と加速度を求めることができる．クリックジェスチャは最初に速度が速く，次に急減速する特徴がある．システムは指先の速度と加速度

クリックジェスチャ操作

図 4 AR クリックインタフェースによる表示操作

影した画像から肌色領域を検出している．
しかし，いくつかの標本の色相も肌色に類似している．そのため，ユーザの手領域を誤認識し，クリックジェスチャが認識されない場合があった．これはシステムが肌色の判定処理を画面全体にしているた

謝辞
本研究は山梨県若手研究者奨励事業の助成を受けたものである．ここに記して謝意を表す．
参考文献[1] 人体および人体標本を用いた医学・歯学の教育と研究における倫理的問題に関する提言;
は AR による標本情報を取得するため，画面中央
一般社団法人日本解剖学会; (2013)で撮影されることが多い．仮想ボタンは画面の隅[2] Sugiura A, Toyoura M, Mao X; A Naturalに配置されているため，肌色判定の領域を仮想ボ
Click Interface for AR systems with A
Single Camera; Proceedings of Graphics
タンの周辺に限定するように設定した．それによInterface, pp.67-75 (2014.5)って，標本を手領域と誤検出することを減らし，[3] Chang K.E, Chang C.T, Hou H.T, Sung Y.T,
クリックジェスチャの認識率を高めることができ
Chao H.L, Lee C.M; Development andbehavioral pattern analysis of a mobile
た．
guide system with augmented reality ofpainting appreciation instruction in an art4. まとめ
museum; Computers and Education,
Vol.71, pp.185-197 (2014.2)
本研究では，AR を用いた医学標本館における[4]
Yoon SA, Elinich K, Wang J; Using
新たな見学支援システムを提案した．AR マーカ
augmented reality and knowledge-buildingを利用したプロトタイプシステムを構築し，次にscaffolds to improve learning in a science
人体標本の断面を画像マーカとする提案システム
museum;ComputerSupported
CallaborativeLearning,
pp.519-541を構築した．見学者はマーカを意識しないで標本(2012.12)
をタブレットのカメラで撮影し，AR 環境によっ[5] BioDigital Human; BioDisital Inc; URL:て提示された情報を得ることができる．また，直https://www.biodigital.com/education[6]
Human Anatomy Atlas; VISIBLE BODY
感的クリックインタフェースを導入することでInc; http://www.visiblebody.com/index.html
HMD により見学者の情報端末の保持による負担[7] Chien CH, Chen CH, Jeng TS; Anを軽減し，直感的なジェスチャ操作により効率的
Interactive Augmented Reality System for
Learning Anatomy Structure; Proceedingに標本に関する情報を得ることができる．
of the International multionference of
今後の課題は，スライス状以外の形状の標本にEngineers and Computer Scientists, Vol.1,対応する必要がある．本学の医学標本館には立体
pp.370-375 (2010. 3)[8]Meng M, Fallavollita P, Blum T, Eck U,的な胎児の標本や成人の上半身の大型標本がある．
Sandor C, Weidert S, Waschke J, Navab N:
これらの標本は，1 つの画像マーカでは限られた
Kinect for Interactive AR Anatomy
範囲のみでしか AR を実現できないことが予測さ
Learning; IEEE International Symposiumon Mixed and Augmented Reality,
れる．そのため，1 つの標本につき複数の画像マ
pp.277-278 (2013.10)
ーカを設定することで全ての範囲での AR を実現[9] ARToolKit; DAQRI; URL: https://artoolkit
することができると考える．
.org/
見学者の専門分野や医学知識レベルは様々であめ，標本を手領域と判定されたためである．標本り，医学標本による学習のためには，これに対応することが求められる．見学支援システムの利用状況により見学者の知識レベルを自動判断し，知識レベルに合わせた情報コンテンツを提供できる見学支援システムを目指していく．

© 2017 by the Virtual Reality Society of Japan ( VRSJ )