最先端のAR技術紹介
株式会社コンセプト 林建一

アウトライン1.

ARを実現する基礎技術
1.
2.
3.

2.

ビジョンベースARの基礎
1.
2.
3.
4.

3.

マーカ型AR
マーカレス型AR
2D/3Dポイントマッチング
カメラの位置姿勢推定

マーカレスARの技術
1.
2.
3.

4.

ビジョンベース
センサベース
ハイブリッドキーポイント（特徴点）検出
初期位置合わせトラッキング

AR研究事例紹介プロフィール
株式会社コンセプト 取締役/クリエイティブ・ディレクター

林 建一 Kenichi Hayashi

博士(工学)

略歴
1981年10月19日生まれ
2004年3月 大阪大学基礎工学部 卒業
2006年3月 大阪大学大学院 基礎工学研究科 システム創成専攻 博士前期課程 修了
2007年4月〜 日本学術振興会 特別研究員
2008年7月 株式会社コンセプト設立、取締役/クリエイティブ・ディレクター
2009年3月 同大学院 博士後期課程 修了

専門
拡張現実感、ヒューマンインタフェース、コンピュータビジョン
主な業績
日本バーチャルリアリティ学会 2006年度 論文賞（林建一, 加藤博一, 西田正吾）
日本バーチャルリアリティ学会 2008年度 論文賞（林建一, 加藤博一, 西田正吾）
ICAT2005 Best paper award (Kenichi Hayashi, Hirokazu Kato, Shogo Nishida)会社概要
株式会社コンセプト
東京都目黒区目黒1-2-20-105
資本金：1950万円
設立：2008年7月
役員：
代表取締役社長 森川 和正
取締役/マネージング・ディレクター
取締役/クリエーティブ・ディレクター
人員： 10名
主要取引先：
・株式会社電通
・株式会社バンダイナムコゲームス
・株式会社エヌ・ティ・ティ・ドコモ
・KDDI株式会社
・凸版印刷株式会社
・株式会社電通テック
・中部日本放送株式会社
・テレビ東京ブロードバンド株式会社

他

服部 茂夫
林 建一

弊社 ARの事例紹介
e.g.

e.g.

e.g.

自然特徴点 AR技術

空間認識 AR技術

形状認識 AR技術

Feature point recognition engine

Space recognition engine

Shape recognition engine

e.g. Dentsu（TOKYO INNOVATION）

e.g. ＧＱ (Issued July 2010)（BEAMS）（GIRARD-PERREGAUX）

1. ARを実現する基礎技術

ＡＲの実現方法
ビジョンベースとセンサベースAR
ビジョンベース
カメラ画像の認識結果からカメラ画像とCGの位置合わせを行う
画像内の特徴とシーンモデルのマッチングでシーンに対する相対的な位置姿勢を推定
iPhoneでは背面のカメラ、iPhone4ではフロントカメラが利用可能
センサベース
厳密な位置合わせをしない
iPhoneで使用可能なのは、GPS、コンパス、加速度センサ、ジャイロセンサ

センサベースＡＲの特徴
センサより取得される情報によって誤差、ディレイが生じてしまう。
ＧＰＳでは〜50m程度の誤差が出たりと、コンテンツ表現の方で工夫が必要。
• 広大なエリアを対象としたサービス• 特に、厳密な位置合わせを要求されない屋外での利用に向く• 技術的なハードルが低いため、コンテンツ/サービスを開発しやすいビジョンベースＡＲの特徴
厳密な実空間と仮想物体の位置合わせを行う• 正確にコンテンツを重ねて表現できるため、クロスメディア連携に親和性• マーカーレス型の表現は媒体やクリエイティブを有効に使用できる

2. ビジョンベースARの基礎ビジョンベース型ＡＲの種類

ビジョンベース型のＡＲを現状使われているものは以下の種類に分類することができる••

マーカ型 ＡＲ• 正方マーカ• 特殊形状マーカ
マーカレス型AR• 自然特徴点マッチングによるＡＲ• 輪郭形状マッチングによるAR（ロゴ認識など）マーカ型AR

正方形マーカ正方形の形状を画像中から検出して、その４頂点の画像中での位置をもとにマーカに対するカメラの（相対的な）位置姿勢を推定す
る
特殊形状マーカ
正方形以外の形状をもったマーカ
検出対象の形状が異なるだけで基本的な原理は正方形マーカと同じ

特徴点ベース マーカレスAR

特徴点(キーポイント)ベース
シーン中の特徴的な点を検出＆追跡することで，カメラの位置姿勢を推定

エッジベース マーカレスAR

エッジベース
シーン中のエッジを検出＆追跡することで，カメラの位置姿勢を推定

ARにおける認識対象と認識手法

ARを実現したい対象によって適した認識手法が存在
1. マーカが配置できる
1. 正方形のマーカでもOK → 正方形マーカ
2. 独特な形状がいい → 特殊形状マーカ
2. マーカが配置できない
1. 認識対象から十分な特徴点が検出できる → 自然特徴点マーカレス
2. 十分な特徴点が検出できない → 輪郭形状マーカレス

ビジョン、センサのハイブリッド型

ビジョンとセンサのお互いの手法のメリットを補完
iPhoneに搭載：ジャイロスコープ(iPhone4)、加速度センサ、電子コンパス
たとえば• 対象となる建造物を認識する場合、東京タワーをどの位置から見ているかＧＰＳと電子コンパスを活用することにより、概ね範囲を絞った上で、対象となる建造物であるかどうかの認識をする。
• マーカー型のコンテンツではあるものの、見る場所や時間によってコンテンツを変化させる。(コンテンツに対して限定性を付加させる)

3. マーカレスARの技術

マーカレスARの一般的なフロー
初期位置合わせ認識対象がどの位置，姿勢にあるか分からない状態での認識

1.
2.
3.

特徴点検出
特徴点の識別位置姿勢推定トラッキング
前フレームでの認識対象の位置，姿勢が分かっている場合，その情報から特徴の追跡（トラッキング）を行うことができる

1.
2.
3.

特徴点検出
特徴点追跡
位置姿勢推定

一般的に 処理コストは [初期位置合わせ] > [トラッキング]

特徴点の例

初期位置合わせの例
DB内の特徴点(オフライン)
1. 事前に認識対象から特徴点を検出
対象全体で類似度の低い点をなるべく選ぶ
2. 識別器(Classifier)を作成(オンライン)
1. カメラ画像から特徴点を検出
2. 検出された特徴点と特徴点DBとのマッチング
3. マッチングした特徴点の登録座標とカメラ画像中の座標からカメラの位置姿勢を推定

マッチングされた特徴点

トラッキングの例(オフライン)
1. 事前に対象から追跡する特徴点を検出
周辺との類似度の低い点を選ぶ
2. 三次元座標とともにテクスチャ情報を登録(オンライン)
1. 前フレームの特徴点位置を基準に，周辺から特徴点を検出
2. 検出された特徴点と追跡中の特徴点のマッチン
グ（1,2を一定数の特徴点に対して行う)
3. マッチングした特徴点の登録座標とカメラ画像中の座標からカメラの位置姿勢を推定

カメラの位置姿勢推定
DB内の特徴点

カメラ画像中の特徴点の座標(x,y)と対象のローカルな座標での特徴点の座標(X,Y,Z)のペアを複数個(最低3点)持つことで，カメラの位置(X,Y,Z)と姿勢(α,β,γ)を求める→ ICPアルゴリズム，LM法などで非線形最適化問題を近似的にとくマッチングされた特徴点

4. AR研究事例紹介

マーカレス型AR 輪郭形状検出
輪郭形状マッチングによるマーカレスＡＲ
テクスチャ情報がとりにくいような対象上でのARを実現する手法（応用例) 手の上でAR、 ロゴ認識でARなど→“Dominant Orientation Templates for Real-Time Detection of Texture-LessObjects”, Hinterstoisser, CVPR2010マーカ型AR 輪郭形状検出
手書きのスケッチの輪郭形状からマーカ認識“Nate Hagbi, Oriel Bergig, Jihad El-Sana, and Mark Billinghurst, Shape
Recognition and Pose Estimation for Mobile Augmented Reality, ISMAR09

フェイストラッキング
顔のパーツの追跡を行い，CGをオーバーレイ（基本的にはマーカレスの技術）

L. Vacchetti, V. Lepetit and P. Fua, Stable Real-Time 3D Tracking Using Online
and Offline Information, IEEE Transactions on Pattern Analysis and MachineIntelligence 2004.

SLAM(simultaneous localization and mapping)
認識処理をしながらシーンの新たな特徴点をその場で学習していく

Georg Klein and David Murray, Parallel Tracking and Mapping for Small AR
Workspaces (ISMAR'07, Nara)モーションブラー
モーションブラー（ぼけ）は認識に大きな影響を与える
ブラーのモデルを認識アルゴリズムに導入し，モーションの推定とCGのブラーの生成を行う

Youngmin Park Vincent Lepetit Woontack Woo,ESM-Blur: Handling & Rendering Blur in 3D Tracking and Augmentation,ISMAR09

まとめAR技術に関して• マーカ，マーカレス，その他もろもろのARのベースとなる技術はかなり成熟．
用途に応じて使い分けが必要• ビジネスとしてはモバイルARがメインとなるので，State of artな技術をどのようにモバイルのコンシューマサービスに落とし込むかが重要• 今後モバイルでもマルチコアが普及 → 並列処理可能なアルゴリズムもどんどんモバイルARに取り入れられていく• モバイル特有の制限や特性への対応(ハンドヘルドの特有のモーションモデル, ローリングシャッター，モーションブラー)