特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 201027
97

特集 ■ 新しい飛躍の時代を迎えた複合現実感

MR 技術の実利用化 −要素技術と「ものづくり」現場での応用−

麻生隆

キヤノン

ASO TAKASHI

内山晋二

キヤノン

UCHIYAMA SHINJI

我 々 は，1997 年 か ら「 複 合 現 実 感 」(Mixed Reality:

山本裕之

キヤノン

YAMAMOTO HIROYUKI

本来の MR 空間の実利用は，いくつかの先鋭的な研究

MR) のキーワードのもと，現実世界と仮想世界を融合プロジェクトでの検討を除いて進んでいない．

する技術・アプリケーションの開発を行ってきた．1997

実利用が進んでいない要因には，1) 要素技術が実利

年から筆者らが参加した「複合現実感システムに関する用に耐えうるレベルに至っていない，2) MR 空間の特徴試験研究」( 通称 MR プロジェクト ) は，「複合現実感」を最大限に活用できる応用の開拓が進んでいない，などの研究の裾野を広げることに貢献した．本稿では，MRが挙げられる．我々は，これらの要因を排除し，実利用プロジェクト以降，特に最近 5 年間の，実利用化に向け化を促進する活動をここ数年重ねてきた．以下では，こた我々の取り組みを紹介する．

れらの活動の一端を紹介する．

1．MR プロジェクト以降の 10 年間

2．要素技術の進歩(a) 高性能 HMD

MR プロジェクトは，1997 年 1 月から 2001 年 3 月までの 4 年 3 ヶ月の間，基盤技術研究促進センター ( 当時 )Head Mounted Display (HMD) は，利用者が頭部に装着の出資案件として実施された研究プロジェクトである．

して画像を観察する画像表示装置であり，両眼に視差現実世界と仮想世界のシームレスな融合が実時間で処を持たせた映像を提示することで立体視が可能である．

理され，さらに融合された空間とのインタラクションがHMD は VR を象徴するデバイスであるが，複合現実感可能な技術を構築する試みが，このプロジェクトであっでは，特に現実世界を観察するためのシースルー機能がた [1]．このプロジェクト以降も，本学会の複合現実感研必要となる．

究委員会，ISMAR(International Symposium on Mixed and

キヤノンでは，特に，HMD に内蔵されたビデオカメ

Augmented Reality) のコミュニティを中心に，特に現実ラで現実世界を撮影する，ビデオシースルータイプの世界と仮想世界間の座標変換を正確に求める位置合わせ

HMD を中心に開発してきた．2002 年には，このタイ技術の研究が活発に行われている．

プの HMD (VH-2002) を実用化した．VH-2002 では，撮一方で，MR 技術を活用した実利用の開拓は思うよう像系と表示系の光軸を一致させ，現実空間と仮想空間に進んでいない．MR プロジェクトの当時から，映像制の立体感が一致するように工夫されている．この特徴

作の過程で実写と CG を融合し，あたかも実写のようにに加えて，VGA 解像度，水平 51 度の画角の特性を持っ見せる映像処理技術が活用されていた．最近では，「拡ていた．

張現実感」(Augmented Reality: AR) のキーワードで，実VH-2002 の利用者からは，さらなる高解像度，広画角写映像にリアルタイムに情報や映像を重畳して表示する化の要求が強かった．特に，MR 空間でのインタラクショアプリケーションが携帯電話等で実現されている．しかンにとって，広画角化は必須であった．51 度の画角でしながら，目の前の現実世界と仮想世界をリアルタイムは，視野が限られ，用途によってはインタラクションがでシームレスに融合し，インタラクティブに体験できる困難になる場面があった．そこで，これらの性能の向上

27

28
98

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

いて補正するハイブリッド手法を主に用いていた．カメラで，現実空間に設置された単純なマーカをトラッキングするのみで，ロバストな位置合わせが実現できた．
一方，計算機の処理能力の向上に伴い，画像に含まれる情報のみを利用してカメラ位置姿勢の推定を行うビジョンベースの手法が主流になってきた．現実世界に設置したコード化された二次元パターンを用いたり，現実
世界中の自然特徴を抽出して用いたりする手法が検討さ(a) 新規光学系れている．画像処理が理想的に行えた場合には，センサを基礎とする手法と比較して，センサの計測範囲に制約されない，画像上での位置ずれが少ないなどの利点がある．しかしながら，ビジョンのみに頼る手法は，画像処理結果の誤差などにより破綻を起こしやすく，実用化に必要とされるロバストな処理が困難である．
我 々 は， ハ イ ブ リ ッ ド な 手 法 を 基 礎 に， ビジョンベースの手法の利点を取り入れる取り組みを行ってきた[3][4]．具体的には，(b) VH-2007 の外観

・ センサとしてジャイロベースの姿勢センサを利用する

図 1 新規に開発したビデオシースルー HMD VH-2007

ことで，磁気センサが有する計測範囲の制限を取り除く．
をめざして研究開発を進め，2007 年に試作機 (VH-2007)

・姿勢センサからは得られない位置・方位情報を，ビジョを完成させた [2]．以下にその特徴をまとめる．

ンベースの手法で計測する．現実空間に設置した独自デザインの 2 次元マーカを画像処理したり，形状が既・ 広画角を実現するため，新規の一回結像系の光学シス

知の物体のエッジを画像上でトラッキングすることでテムを採用．水平画角 60 度を達成．

高精度に計測する．

・ 拡大率を上げることで発生する光学的な歪みを電子的・ 利用者の高速な移動・回転による画像処理の破綻に対に解決するための歪み補正機能を搭載．

して，姿勢センサと画像情報を利用することで，高速・ 新規の液晶パネルを採用．SXGA (1280×960) の解像度に復帰する機能を実現する．

を実現．などの改良を行ってきた．また，マーカベースの手法
図 1 に VH-2007 の外観を示す．広画角化の代償として，において見逃されがちな課題として，現実環境に配置しVH-2002 に比較して大型化・重量化している．今後，実たマーカの空間内での配置関係をキャリブレーションす用化に向けて，よりコンパクト・軽量なデザインとするることの困難さの解決にも取り組んできた．仮想空間をことが望まれている．

重畳する現実空間は，位置合わせの都合のみでデザインすることはできず，応用場面に依存して決定するもので(b) 位置合わせ処理ある．そのため，現実空間にマーカを配置した後に，簡MR においては，現実世界と仮想世界を「違和感なく」便な手順で精度良くマーカの 3 次元配置情報を較正する融合し，利用者に提示する必要がある．そのための最も[5] ことは，応用を拡げる上で重要な機能の一つである．

重要な情報処理技術が，幾何的整合性の維持である．現(c) アプリケーション開発プラットフォーム

実世界と仮想世界間の座標変換を正確に求めるなどして，観察者の視点位置や視線方向が変化しても両世界のMR プロジェクトは，要素技術の開発と並行して，様々間に位置ずれが発生しないようにする処理である．MRなプロトタイプシステムを構築してきた．これらの開プロジェクトでは，HMD に装着された磁気式センサの発を通して，MR アプリケーションの技術体系を整理

誤差を，HMD に搭載されたカメラで撮影した画像を用することができた．この時の知見を活用して，MR ア28

特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 201029
99

・MR のための各種設定・較正を行う MR Configuration

プリケーションを構築する際の基盤となる「MR プラッ
トフォーム」を開発し，2002 年に研究開発者向けに提ツールによる設定・較正機能．

供を開始した [6]．「MR プラットフォーム」には，HMD・メインのアプリケーションで生成した映像を，HMD

VH-2002 と，現実空間と仮想空間の位置合わせ機能をから入力された映像に重畳する MR 映像融合機能．

中心としたソフトウェア開発キットが含まれていた．

・上記の映像の重畳の際に，HMD からの映像の肌色部

このソフトウェア開発キットは，Linux OS 上で動作す分を抽出して，その部分には生成した映像を重畳しなる各種のライブラリとツールで構成されており，開発

いハンドオーバーレイ機能．

者はライブラリを用いて，MR アプリケーションを実装・開発する必要があった．

ハンドオーバーレイ機能は，MR 空間における実体触知

その後，PC やグラフィックスカードの発展に伴い，感覚の向上に極めて有効な機能であり，MR 技術の実利用化に向けて，特に重視した機能である [7]．

PC 上で 3D-CAD などの 3 次元グラフィック・アプリケーションを利用することが普及した．MR の実利用化を推進するためには，一から MR アプリケーションを開発

3．ものづくり分野への展開するのではなく，これら既存の 3 次元アプリケーション

我々は，MR の実利用化に向けて応用分野を開拓する

を必要最小限の修正だけで MR 化できるような枠組みにあたり，製造業として身の回りにニーズ・課題が存在が必要であると我々は考えた．そこで，構成を見直したする「ものづくり」への応用を第一の候補として選択し新たな「MR プラットフォーム」を開発した．

た．ものづくりの現場では，2000 年以降 3D-CAD の導新しい「MR プラットフォーム」では，トラッキン入が進み，設計データの 3 次元化が進んだ．そこで，3グセンサや HMD に係る設定や入出力処理，位置合わ次元化された設計データを MR で観察することで，開せ処理など，MR 特有で一般のアプリケーションには含発の効率化が図られるのではないか，との仮説のもと，まれない処理機能を，メインのアプリケーションとは実際に製品を開発している現場の協力を仰いで試行検討独立したプロセス (MR Engine) として実現した ( 図 2)．こを行っている．の MR Engine とメインのアプリケーション間とは，MRまず，製品の簡易なモックアップ ( 試作物 ) を準備して，Platform API によりデータが交換される．このような形そのモックアップに設計データを重畳することで，手触態にすることで，MR に特有の機能を MR Engine に閉じり感や操作感などを伴いながら視覚的な評価 ( デザイン込め，メインのアプリケーションの開発者は，アプリケー性やユーザビリティなど ) を可能とするプロトタイプシションに必要な機能の実現にのみ注力すればよくなる．

ステムを開発した．図 3 では，カメラの簡易モックアッ

MR Engine には，上記の機能以外に，MR アプリケーションのための次の機能を実装している．

(a) 簡易モックアップ(b) MR 体験映像
図 2 新たな MR プラットフォームの構成

図 3 事例 1 ： デザイン評価

29

30
100

特集 新しい飛躍の時代を迎えた複合現実感

日本バーチャルリアリティ学会誌第 15 巻 2 号 2010 年 6 月

計データを，開発の上流から生産・販売まで一気通貫で活用するコンカレントエンジニアリングが主流になりつ
3D-CAD，電気 CAD，ソフトウェアデバッ
つある．そこで，ガ，機構シミュレータなどの設計ツールを連携させて，異なる分野の設計者が仮想環境でコンカレントに設計を進めるための開発環境を構築している．そのユーザインタフェースとして MR を活用することを検討している．
図 5 はレンズ設計において，レンズの空間的な配置と，その配置による機構的なシミュレーション結果を重畳表(a) 簡易モックアップ示した例である．空間的な把握が容易になり，光学設計者とメカ設計者間で課題共有が促進されるなどの効果が期待されている．

(b) MR 体験映像
図 4 事例 2 ： ユーザビリティ評価

プにデザインデータを重畳し，あたかも実際のカメラを

図 5 事例 3 ： メカ系シミュレーション* 口絵にカラー版掲載

手にとって触りながら評価している．図 4 は，複写機の操作性，メンテナンス性を評価している．ユーザが操作4．MR の可能性するパネル部分だけを現物で忠実に再現し，それ以外は単なる立方体の箱で現実空間を構成している．そこに，今後，3 次元データやコンテンツの普及に伴い，MR3D-CAD で設計された設計データが重畳されている．この適用範囲もさらに広がることが予想される．のように MR を使って現実物に設計データを重畳するこ

3 次元処理が主流になりつつある医用イメージング分とで，設計途中の製品を，体性感覚を伴って評価するこ野，3 次元のコンテンツが活用されだしている教育・エとが可能となる．従来，試作機や最終製品でしか評価でンターテインメント分野，さらに将来はホームエンターきなかった項目を，設計の途中段階で評価することが可テインメント分野での活用なども考えられる．それら能となり，開発効率化に寄与することが示唆された．実の可能性についても，先行的に将来性の調査を進めて際に試用した社内の開発者に対するアンケート結果においる．例えば，メディア教育開発センター ( 現放送大学 )いても，約 8 割の開発者が「有効である」と回答している．の近藤らは，国立科学博物館と共同で MR を使った展

上述の事例では，3D-CAD を用いて設計されたデータ示システムを提案している [8]．2009 年には弊社も参加

を，VRML などのグラフィックデータに変換し，それして「よみがえる恐竜」と題したコンテンツを共同開を MR 用のビューワで体験していた．この構成では，設発し，2009 年 3 月に国立科学博物館にて一般来場者を計プロセスと体験プロセスが分離されており，MR 体験対象とした体験イベントを実施した ( 図 6)．この展示はで評価して得られた成果は，一旦，設計プロセスに戻っ非常に好評で，博物館における展示手法としての可能て修正をしなくてはならない．MR 体験中に設計データ性を示唆するものであった．

を修正できると，さらに，開発効率が向上すると期待される．そこで，現在，設計ツールである 3D-CAD と MR

5．まとめ体験ビューワが統合されたシステムを開発している．

「仮想と現実を融合」する「複合現実感」の実利用にさらに，近年ものづくりの現場では 3 次元化された設向けた我々の取り組みを紹介した．「ものづくり」や「展30特集 新しい飛躍の時代を迎えた複合現実感

JVRSJ Vol.15 No.2 June, 201031
101

[4] 小竹大輔，佐藤清秀，内山晋二，山本裕之：傾斜角拘束を利用したハイブリッド位置合せ手法，電子情報通信学会論文誌，Vol.J90-D, No.8, pp.2070-2080 (2007)[5] 小竹大輔，内山晋二，山本裕之：マーカ配置に関する先験的知識を利用したマーカキャリブレーション方法，日本バーチャルリアリティ学会論文誌，Vol.10,
No.3, pp.401-410 (2005)[ 6 ] 内 山 晋 二， 武 本 和 樹， 山 本 裕 之， 田 村 秀 行：MR
システム構築基盤「MR プラットフォーム」の開(a) 展示標本

発，日本バーチャルリアリティ学会第 6 回大会論文集，pp.457-460 (2001)[7] 大島登志一，山本裕之，田村秀行：実体触知機能を重視した複合現実感システム−自動車インテリアデザ
イン検証への応用−，日本バーチャルリアリティ学会
論文誌，Vol.9, No.1, pp.79-88 (2004)[8] 近藤智嗣，有田寛之，真鍋真，稲葉利江子：ミクス
トリアリティによる博物館展示システムの提案，日本
教育工学会論文誌，30 (Suppl.), pp.45-48 (2006)(b) MR 体験映像
図中の CG は，科学研究費補助金 ( 基盤研究 B)「博物館における複合現実感共用システムの構築と科学的思考の育成に関する縦断【略歴】的研究」により作成したもの

麻生隆（ASO Takashi）

図 6 事例 4 ： 博物館展示＊口絵にカラー版掲載

1986 年名古屋工業大学大学院工学研究科修士課程修了．

示」といった応用分野で実利用化を推進しており，そン事業本部レンズ事業部 MR 開発推進プロジェクトの範囲内では利用に耐えうる要素技術の開発にも目途がチーフ．複合現実感の実用化に向けた研究・開発に従事．

同年キヤノン ( 株 ) 入社．現在イメージコミュニケーショ

たってきた．しかしながら，「複合現実感」の応用範囲は急速に広がりつつあり，最近では携帯電話のカメラで，内山晋二（UCHIYAMA Shinji）街の風景に情報を重畳するようなアプリケーションが一1992 年大阪大学大学院基礎工学研究科修士課程修了．

般ユーザに対して提供されはじめている．

同年キヤノン ( 株 ) 入社．1997 年〜 2001 年 ( 株 ) エム・アー「複合現実感」技術が様々な応用に適用され，実用にル・システム研究所に出向．現在，キヤノン ( 株 ) 映像耐える要素技術が着実に蓄積され，それが，新たな応用情報処理技術開発センター映像情報処理技術第二開発を生む．そのようなポジティブな循環環境を作りだした部部長．3 次元画像計測，複合現実感，医用画像システ

いと考える．

ムの研究・開発に従事．本学会第 11 回論文賞受賞．博士 ( 工学 )．

参考文献[1] 山本裕之：複合現実感−仮想と現実の境界から見え山本裕之（YAMAMOTO Hiroyuki）

る世界−，情報処理，Vol.43, No.3, pp.213-216 (2002)

1986 年大阪大学大学院基礎工学研究科修士課程修了．

[2] 松永智美，猪口和隆，山崎章市：Shuttle 光学系を使

同年キヤノン ( 株 ) 入社．1990 年〜 1992 年マクギル大学用した広画角・高解像の HMD の開発，第 32 回光学

知能機械研究所客員研究員．1997 年 2 月より ( 株 ) エム・

シンポジウム講演予稿集，pp.13-16 (2007)

アール・システム研究所出向．現在，キヤノン ( 株 ) 医[3] 佐藤清秀，内山晋二，山本裕之：UG+B 法：主観及用画像情報システム開発推進プロジェクトチーフ．3 次

び客観視点カメラと姿勢センサを用いた位置合わせ手

元画像計測・認識，アクティブビジョン，バーチャルリ法，日本バーチャルリアリティ学会論文誌，Vol.10,アリティ，複合現実感，医用画像システムの研究に従事．

No.3, pp.391-400 (2005)

本学会第 11 回論文賞受賞．博士 ( 工学 )．

31