視覚情報メディア講座(横矢研究室)
教授 横矢直和, 准教授 山澤一誠, 助教 神原誠之 佐藤智和

コンピュータビジョン

ビデオカメラによる超解像
ビデオモザイキングシステム

全方位カメラによる屋外三次元情報の復元
光学的整合性を考慮した
拡張現実感システム

赤外線LEDと不可視マーカによるカメラ位置・姿勢推定

視覚・情報・メディア
レーザレンジファインダによる
屋外環境の三次元モデル化

パターン類似度に基づく
画像修復
ランドマークデータベース
によるカメラ位置・姿勢推定

ネットワークを介した全方位カメラ
による遠隔監視システム

ウェアラブル拡張現実感
位置情報による
撮影画像への索引付加

広域屋外環境の全方位ステレオ画像生成

ヒューマンインタフェース

画像のぼけ推定に基づく
仮想物体の実時間レンダリング

全方位カメラによる新視点画像生成コンピュータグラフィクス

視覚情報メディア講座 ( VISION AND MEDIA COMPUTING LABORATORY )教授：横矢 直和 准教授：山澤 一誠 助教：神原 誠之，佐藤 智和
E-mail：(yokoya,yamazawa,kanbara,tomoka-s)@is.naist. jp

URL：http://yokoya.naist.jp/
コンピュータビジョン■ 講座概要本講座では、コンピュータやロボットが外界を「視る」ための技術とコンピュータ内部の多様な情報を人間に「魅せる」ための技術を中心に、コンピュータビジョン、ヒューマンインタフェース、コンピュータグラフィクスの分野とそれらの複合領域において視覚メディアの研究を行っています(図 1)。

■ 主な研究分野
・ コンピュータビジョン
画像を手掛かりにコンピュータやロボットに外部環境を理解させるための手法について研究しています。
- 動画像からの移動物体追跡、シーンの三次元復元(図 2)- 実時間カメラパス推定に基づくビデオモザイキング- ランドマークデータベースによるカメラ位置・姿勢推定(図 3)- レーザレンジファインダによる屋外環境の三次元モデリング(図 8)

ステレオ視覚

距離画像解析

カメラ位置推定

動画像解析

実環境モデリング

全方位視覚

視覚・情報・メディア
テレプレゼンス

複合/拡張現実感

ウェアラブルコンピュータ
ユーザインタフェース

ヒューマンインタフェース

自由視点画像生成
仮想現実感

リアルタイムレンダリング

コンピュータグラフィクス

図 1: 視覚情報メディア講座の研究分野

・ ヒューマンインタフェース
コンピュータと人間の間の情報交換・インタラクションを容易にするための手法について研究しています。
- 全方位画像センサを用いたネットワークテレプレゼンス- ウエアラブル拡張現実感システム(図 4)- 装着した三次元センサによるユーザの自己位置計測

図 2: 動画像からの三次元復元 図 3: 自然特徴による CG 位置合わせ・ コンピュータグラフィクス
コンピュータを用いて現実に限りなく近い映像を再現するための手法について研究しています。
- 多重スケール環境マップを用いたレンダリング- 画像のぼけ推定による仮想物体の実時間レンダリング(図 5)

図 4: ウエアラブル拡張現実

図 5: 仮想物体のぼけ再現

図 6: 画像欠損領域の修復

図 7: 全方位立体画像生成

・ 複合領域
上記の複数の分野の複合領域について研究しています。
- パターン類似度に基づく画像欠損領域の修復(図 6)- 広域屋外環境の全方位立体映像の生成(図 7)- 全方位カメラによる任意視点画像生成■ 研究設備- レーザレンジファインダ(図 8)- 全方位センサ搭載インターネットカー(図 8)- 画像処理サーバ(SGI Prism, Itanium2×16CPU) (図 8)- 没入型ディスプレイ(傾斜型,球面型) (図 7, 図 8)
- 屋外センシング用インターネット飛行船(図 8)

画像処理サーバ

歩行装置付ディスプレイ レーザレンジファインダ■ 共同研究・社会活動など (平成 19 年度)- 文部科学省科研費(基盤 A, 若手 B×2)
- 総務省(戦略的情報通信研究開発推進制度(SCOPE)×2)- 科学技術振興機構(戦略的基礎研究推進事業(CREST),
地域イノベーション創出総合支援事業)- 共同研究(トプコン，豊田中研，オムロン)- NEC 連携ラボ

屋外飛行船

移動ベース

全方位マルチカメラ

全方位センサ搭載車

54 眼カメラ

裸眼立体視モニタ

図 8: 研究設備の一部

Nara Institute of Science and Technology (NAIST)
Vision and Media Computing Lab.

奥行き画像を利用した時空間超解像画像の生成
奈良先端科学技術大学院大学 視覚情報メディア講座
粟津 優作，河合 紀彦，佐藤 智和，横矢 直和
研究背景
一般のカメラでは高時空間解像度な映像の取得は困難（撮像素子の数が有限，読み出し速度の制限等）

動画像の時空間超解像化

超解像処理

従来研究の問題点

複数の画像などを用いて、より高解像度な画像を生成
画像間の対応関係を用いて高解像度化
高精度に対応関係を求めるために，制約を要する
物体の形状を平面仮定
カメラの動きを水平・垂直に限定
複雑な形状の物体等が対象の場合，良好な結果を得ることが困難

超解像画像（提案手法で生成）

入力画像

目的とアプローチ
本研究の目的
対象物体の形状が複雑なシーンに対して撮影された動画像に対応した時空間超解像画像の生成

アプローチ
奥行き値を用いた1次元探索によって，複数の観測画像間で各画素を高精度に対応付ける
画素独立に対応付けが可能

撮影対象に関する強い制約が不要

隣接フレーム間で対応点が存在しない場合にも，他のフレームを用いることが可能

オクルージョンの影響を緩和

提案手法

①

概要図

空間解像度の向上：補間フレーム：観測フレーム①：奥行き画像を用いてシーンの同一箇所を対応付け②：対応付いた画素をもとに超解像画像の画素を推定（推定に画素の整合性を考慮）③：全ての超解像画像の画素に同様の処理を施す

撮影位置
入力

時間解像度の向上①：近傍フレームの奥行き画像をもとに補間フレームの奥行き画像を推定②：奥行き画像を用いて空間解像度の向上処理を適用

シミュレーション実験

①対応付け

①対応付け

①

①

観測画像
奥行き画像

②

出力

③

②

③

②

③

実動画での実験

32

提案手法(観測フレーム)
提案手法▲(補間フレーム)

■

30

正解画像
との
PSNR

28

26

○ バイリニア補間△ 前フレーム補間

24

入力画像
22
1

11

21

31

41

51

61

フレーム

Vision and Media Computing Lab.
Graduate School of Information Science Nara Institute of Science and Technology (NAIST)

生成画像（５フレーム利用）

超解像画像

ハンドヘルドビデオカメラを用いた
撮影位置指示インターフェースを有する
インタラクティブ3次元モデリングシステム
視覚情報メディア講座 不殿健治，佐藤智和，横矢直和

・個人のHP素材への利用
・オークションの商品説明への利用
・ゲームへの利用[実物体][3次元モデル]

手軽に3次元
モデルを作りたい

リアルタイムプレビュー
撮影指示に従いながら撮影

モデリング状況を随時確認

撮影指示
撮影終了
詳細モデリング(オフライン処理)
高精度なモデル生成

・基本的な撮影方法の教示
・撮りこぼしの無い効率的な撮影方法の教示

ビデオカメラによる超解像
ビデオモザイキングシステム
佐藤 智和，池谷 彰彦，池田 聖，神原 誠之，中島 昇，横矢 直和
視覚情報メディア講座 NEC産学連携ラボ
近年のインターネット・カメラ付き携帯電話やPDAの普及に伴い、紙面に描かれた文章や写真を手軽に電子化し、保存・伝送することに対する需要が高まっている。本
研究では、ハンドヘルドカメラを用いて紙面をなぞるように撮影し、動画像解析を行うことで、カメラの位置・姿勢をリアルタイムで推定し、一枚の高解像画像を合成する。また、超解像処理を行うことで、出力画像の高解像化を図る。これにより、個々のカメラの画質を大幅に改善する、高解像・広視野角の画像を生成できる。

提案手法の処理の流れ:
1.カメラ位置・姿勢のリアル
タイム推定

2. 再出現した特徴点の検出・対応付け3. カメラパラメータの全体最適化

4. 超解像モザイク画像
生成

特徴点の画像上での動きを解析することで、カメラの動き
パラメータと特徴点のモザイク
平面上の位置を推定する。

カメラの動きによってフレームアウトした後に再度撮影された
特徴を、カメラパラメータを利用して検出し、対応付ける。

カメラパラメータと特徴
点のモザイク平面上での位置を、動画像全体で最適化する。

最適化されたカメラパラ
メータを用いて超解像処理を行うことで、高解像モ
ザイク画像を生成する。

初期フレーム最終フレーム実験1 (文章)

実験2 (写真)

1. 入力画像・特徴点追跡結果の一部

1. 入力画像・特徴点追跡結果の一部

2. カメラパラメータの推定結果

3. モザイク画像の生成結果

2. カメラパラメータの推定結果

4. 入力画像、モザイク画
像の拡大図

4. 入力画像、モザイク画
像の拡大図

入力画像の一部

入力画像の一部

モザイク画像の対応箇所

モザイク画像の対応箇所

3. モザイク画像の生成結果

http://yokoya.naist.jp/~tomoka-s/videomosaic

全方位カメラによる屋外三次元情報の復元
視覚情報メディア講座
佐藤 智和，横矢 直和
http://yokoya.naist.jp/~tomoka-s/research.html

広域屋外環境の三次元モデル化
動画像からの屋外環境の三次元復元に全方位カメラを用いることで、三次元復元精度の向上と撮影コストの低減を図る。

統合

撮影

全方位マルチカメラシステム

撮影される動画像系列

パノラマ展開された全方位画像

広域屋外環境の三次元情報の復元
1. 各カメラに写る特徴点を統合的に扱うことで高精度にカメラ位置・姿勢を推定
特徴点追跡による三次元復元

複数動画像における特徴点追跡推定されたカメラパラメータ

2. 特徴点の数え上げによる奥行き推定により、効率的に全方位の奥行きを復元

統合・
補間

奥行き値の推定結果

パノラマ状に統合・補間した全方位奥行き画像

今後の展開
・ 全方位奥行き画像の統合による屋外三次元モデルの自動構築
・ 奥行き動画像を用いた任意視点画像生成手法の開発

複数の全方位動画像からの自由視点画像生成
視覚情報メディア講座 石川 智也，山澤 一誠，横矢 直和
動的実環境中を自由な視線方向・視点位置でテレプレゼンス
ロボットや車両に全方位カメラを搭載して遠隔操縦する方法
全方位カメラ搭載車両・ロボット

視点移動に機械的な遅延が生じる
一人の視点位置にしか対応できない

自由視点画像生成により仮想的に視点移動を行う方法○視点移動に機械的な遅延が生じない○複数人の視点位置に対応できるアプローチ：
多地点全方位カメラによる実環境の撮影
静的領域と動的領域を分離して処理

仮想カメラ
実カメラ

前提条件

多地点全方位画像を取得
静的領域と動的領域を分離
動的領域

静的領域

画像間の対応付け

動的領域のみの
画像を生成

仮想カメラの位置を設定
静的領域

動的領域

Morphingによる自由視点画像生成

Image-based
VisualHullによる
自由視点画像生成

全方位カメラ・画像

カメラの位置・姿勢は既知
カメラは固定して設置
各カメラは同期して動作

背景画像を更新する背景差分処理
フリッカーやカメラに依存するノイズを考慮
長時間動かない物体は静的領域と判断

静的・動的領域に対して自由視点画像生成

Morphing

Image-based Visual Hull←
合成後の
自由視点画像静的領域と動的領域の画像を合成
画像提示
B
A
E
C
D

A

B

C

D

E

特徴点追跡とGPS測位に基づくカメラの位置・姿勢推定
横地 裕次，池田 聖*，佐藤 智和*， 横矢 直和*
e-mail : * {sei-i, tomoka-s, yokoya}@is.naist.jp
既知情報

目的 : カメラの位置・姿勢推定

z 画像とGPS測位データ

z 広範囲に移動して取得した動画像を使用

z カメラとGPS受信機間の距離

z 蓄積誤差の発生しない

z カメラの内部パラメータ（レンズ歪，焦点距離など）
z カメラとGPSの同期

z オフラインアプリケーション用

未知情報

z カメラとGPS間のキャリブレーションが簡単

z カメラの位置・姿勢（外部パラメータ）

z 計算コストの小さいz 自然特徴点の三次元位置

z カメラからみたGPS受信機の方位

画像とGPS測位データの取得

GPS測位に基づくカメラの位置・姿勢推定アルゴリズム

狭区間最適化の範囲
更新フレームの最適化に十分な数の特徴点とGPS測位値を利用するために, 更新フレームの両側に使い捨ての区間を設ける.

(A) 特徴点追跡

特徴点追跡アルゴリズム(1) 特徴点の検出(B) 初期外部パラメータ推定

画像のスケール変化や回転に頑健なHarrisオペレータにより特徴点の候補位置を算出する(2) 特徴点の対応付け

N

i mod k = 0

テンプレートマッチングにより第(i-1)フレームと第iフレーム上の特徴点を対応付ける

i-(k+l)+1

更新フレーム
カメラ

i-l

i

Y

(3) 暫定外部パラメータ推定l フレーム k フレーム(C) 狭区間最適化

RANSACアルゴリズムにより整合性の取れない特徴点を排除して暫定外部パラメータ と特徴点の三次元位置を推定する

l フレーム

GPS測位値

最適化範囲(4) 特徴点の再対応付け
暫定外部パラメータを用いて推定された特徴点の三次元位置を画像上に投影し，この位置の周辺のみに探索範囲を限定して，特徴点を対応付ける(D) 広区間最適化

狭区間・広区間最適化の誤差関数
GPS受信機とカメラに関する誤差の重み
第iフレームの信頼度

カメラとGPS受信機の幾何学的関係
初期外部パラメータ

ti , R i

カメラの位置・姿勢

１フレーム内の特徴点の画像上の位置，
三次元位置の対応から，そのフレームのカメラの位置・姿勢を推定する．カメラの位置・姿勢パラメータは， 一般的に用いられる誤差関数である再投影誤差の自乗和を最小化することで算出する．

<<GPS測位座標系>>
Y

X

E=

pj

特徴点 j

GPS測位値
特徴点の検出位置誤差モデルや特徴点追跡精度を含む提案手法全体の評価
using GPS positions
using landmarks
initial value

Posture error [rad]

0.035
0.03

入力データ

0.025

z 画像 (720x480, 15fps), 3600 フレーム

0.02

z GPS 受信機の精度(σ=30mm)

0.015

z カメラとGPS受信機間の測定距離 :0.01

z 画像 (720x480, 15fps) 990 フレームz GPS 測位値 の精度（σ=30mm）
z 特徴点検出誤差（σ=0.6mm+quantization error）
z カメラとGPS受信機間の距離: 1039mm

定数 k=5, l=22, ω=10-9

Position error [mm]

入力データ

GPS

定数 k=5, l=22, ω=10-9
1

goal

カメラ

1020mm0.005
0GPS 測位値

Ψi =| R i g i + t i − d i |d実環境データを用いた実験処理(D)広区間最適化の精度評価

start

GPS受信機とカメラに関する誤差

q ij

GPS受信機の推定位置

シミュレーションによる評価

1
w j Φ ij2
∑i µi ∑
|
S
|
j∈Si
∑i i

GPS測位できたフレームの集合

特徴点の投影位置

GPS受信機2i

特徴点jの信頼度q̂ ij

giΦ ij =| q − qˆ |∑Ψ +第iフレーム内の特徴点の集合<<カメラ座標系>>
Z

再投影誤差

ω

| F | i∈F

101 201 301 401 501 601 701 801 901
Frame index
using GPS positions
using landmarks
initial value

900
800
700
600
500
400
300
200
100
0

第100フレーム

1

101

201

301

401 501 601
Frame index

701

801

第105フレーム

第110フレーム

第115フレーム

901

第3015フレーム
第3000フレーム
第3005フレーム
第3010フレーム
http://yokoya-lab.naist.jp/pub/movie/yokochi/match_move.mpg

Nara
Nara
NaraInstitute
Institute
Instituteof
ofofScience
Science
Scienceand
andandTechnology
Technology
Technology(NAIST)(NAIST)(NAIST)
VisionandandMediaMediaComputing
ComputingLab.
Lab.
VisionVisionandMedia
ComputingLab.

ウェアラブル拡張現実感のための不可視マーカと⾚外線カメラを⽤いた
位置・姿勢推定システム

奈良先端科学技術⼤学院⼤学 視覚情報メディア講座 中⾥ 祐介

URL: http://yokoya.naist.jp/~yuusu-n/

mailto:yuusu-n@is.naist.jp

ヒューマンナビゲーション等のウェアラブル型拡張現実感システムにはユーザの正確な位置・姿勢情報が必要
屋外: ⼀般的にGPS + ジャイロセンサを使⽤
屋内: GPSが使⽤できないため，広域で容易に使える位置計測⼿法が必要

⽬的とアプローチ

ウェアラブル拡張現実感システム

ただし，画像マーカは景観を損ねてしまう

屋内の位置検出においてインフラを簡単に設置したい

景観を損ねたくない
再帰性反射材からなる不可視マーカ

画像マーカ
予め位置を計測した画像マーカを認識する
ことにより、ユーザの位置・姿勢を推定

光源⽅向に光を反射するため、光源の近くにあるカメラのみがマーカを撮影可能

フラッシュ無しで撮影 フラッシュ有りで撮影システム構成環境構築

不可視マーカ壁紙

管理者

・ 正⽅形マーカを密に配置
・ パターン 正⽅形枠内を n×n の格⼦状に分け、点を配置

内部パターンの四隅の点は1つのみ
CビットのCRC (Cyclic Redundancy Check ) コードを付加
2
パターン数:2 n −4 −C 通り

不可視マーカの準備と貼り付け不可視マーカの撮影

不可視マーカのキャリブレーション

基準マーカの位置・姿勢
マーカ撮影画像zカメラ内部パラメータz不可視マーカ設計情報z

キャリブレーションツール
によるマーカ配置情報作成

⼊⼒

z

出⼒

z

マーカ配置情報：
各マーカの3次元位置・姿勢

マーカ配置情報 (各マーカの三次元位置・姿勢)

ユーザの位置・姿勢推定
不可視マーカユーザ
ユーザ位置・姿勢推定
システムの実⾏

ユーザ位置・姿勢(UDP送信 or 共有メモリに出⼒)
VisionVisionandandMediaMediaComputing
ComputingLab.
Lab. Graduate
GraduateSchool
SchoolofInformation
ofInformation
Information
Science
Science
Science
Nara
NaraInstitute
InstituteofofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)

⾚外線LED付き⾚外線カメ
⾚外線カメラA
⾚外線カメラB
ラ

⾚外光

y

計算機
撮影画像

特⻑

⾼精度な位置推定

⼩型・軽量

本体重量

115 g

20 g

解像度

1024 × 768 画素

640 × 480 画素

⽔平画⾓

110°

70 °

その他

前⽅撮影⽤
カメラ付き

位置・姿勢計測精度

9mm, 0.4°

15mm, 0.5°z

位置・姿勢推定結果x

UUUbbbiiiqqquuuiiitttooouuusssNNNeeetttwwwooorrrkkkeeedddM
M
MeeedddiiiaaaCCCooommmpppuuutttiiinnnggg

ウェアラブル拡張現実感システム
NAIST-ISCOE
COEFestival
Festival2006
2006
NAIST-IS
NAIST-IS
COE
Festival
2006のための位置依存情報オーサリング

視覚情報メディア講座（横矢研究室）
視覚情報メデ講座（横矢研究室）
Web: http://yokoya.naist.jp
研究背景

位置依存情報のオーサリングのアプローチ

ウェアラブル拡張現実感システム• ユーザの位置・姿勢に応じて位置依存情報を
ユーザの眼前の風景に
重畳表示• ヒューマンナビゲーション，
景観シミュレーションなどに応用可能(1) 3Dモデルの設定

注釈情報

地図情報と拡張現実感システムを利用した3Dモデルの位置・姿勢の設定(2) 注釈情報の設定
ウェアラブル
PCのユーザ

ユーザに提供する位置依存情報の管理・提供
ザ 提供する位置依存情報の管理 提供（オーサリング）が必要

地図情報と拡張現実感システムを利用した注釈対象の形状設定(3) 位置依存情報の提供
ネットワーク共有データベースを利用した情報の提供(2) 注釈対象の形状設定(1) 3Dモデルの位置・姿勢設定(3) 位置依存情報の提供

第1フェーズ：通常のPCによる地図情報を利用した効率的な情報設定
地図画面
地 情報選択欄
地図情報選択欄

共有DB
・３Dモデル情報
・注釈情報

設定した形状

モード選択ボタン
地図
情報

サーバ

コンテンツ選択ボタン

フェーズ切り替えボタン

コンテンツ
情報欄
モード選択
リストボックス

コンテンツモデル
追加・修正・削除ボタン

オーサリング時のGUI

クライアント

作業選択ボタン

ユーザID ・ 自己位置

形状削除ボタン
データベース情報欄

注釈文字列
入力部

形状選択
リストボックス

第2フェーズ：拡張現実感システムを利用した情報の詳細設定
カメラの映像

地図情報・
撮影画像

注釈対象の形状を見ながら輪郭を入力して形状を編集

位置センサ
屋外
GPS
eTrex
(GARMIN)

姿勢センサ
InertiaCube²((InterSense))

第1フェーズで設定された形状

入力した
輪郭

屋内
編集後
の形状
赤外線受信器・発信器
オリジナル(MI Systems)

センサによる
位置修正
ボタン

微調整用
位置修正
ボタン

位置・姿勢
保存ボタン

姿勢修正
ボタン

視体積
交差法
による
形状編集

計算機
VAIO typeU
VGN-U71P(SONY)CCDカメラ
QV-700(Logicool)

拡張現実感システムの機器構成

ユーザ位置付近の３Dモデル
及び注釈情報サーバ: 環境中の3Dモデル，
注釈情報及び全ユーザの現在位置を管理
クライアント : 自己位置付近の3Dモデル及び注釈情報を獲得しユーザに提示

位置依存情報の効率的な管理及びクライアントへの情報配信が可能

生成画像例

3Dモデルの提示画像
Graduate

SchoolofInformation

クライアント

注釈対象の形状設定結果
Science

注釈提示画像画像特徴点によるランドマークデータベースに基づくカメラ位置・姿勢推定○大江 統子，佐藤 智和，横矢 直和
奈良先端科学技術大学院大学 視覚情報メディア講座

研究目的とアプローチ
拡張現実感やロボットナビゲーションではカメラの位置・姿勢が必要とされる本研究では，

複雑で広範囲な環境におけるカメラの絶対位置・姿勢を推定
ウェアラブルARシステム[天目]•画像内の自然特徴点周辺の画像をランドマークとしてマーカの代わりに利用•全方位動画像を用いることで事前に多数のランドマークを作成＜特徴＞•カメラ以外のセンサや人工的なマーカを用いない•広範囲な屋内外環境で利用可能•カメラ位置・姿勢推定時に累積誤差を含まない提案手法の概要（１）環境内の自然特徴点によるランドマークデータベースの構築（オフライン処理）
全方位動画像の撮影

画像テンプレートの作成

ランドマークデータベース

画像テンプレート
基本スケール
2倍
4倍

画像テンプレートのスケール

全方位カメラパスと自然
特徴点の三次元位置を推定

ランドマーク１ ランドマーク２

ランドマーク
画像テンプレートの法線ベクトル
撮影画像

・・・

ランドマークＮ（１） ランドマークの三次元位置（２） 撮影地点ごとの情報（A）撮影時の全方位カメラの位置（B）ランドマークを中心とした多重スケールの画像テンプレート（C）画像テンプレートの法線ベクトル（向き）（D）画像テンプレートのスケール（大きさ）

撮影カメラ位置
撮影時のカメラ姿勢やレンズ歪みによる画像の見え方の違いを考慮（２）ランドマークデータベースを用いたビデオカメラ位置・姿勢の推定（逐次処理）（１）カメラの初期位置・姿勢推定
前フレームのカメラ位置，姿勢（２）ランドマークをデータベースから選択

ランドマークデータベース

前フレームのビデオカメラの位置・姿勢（３）入力画像とランドマークの対応付け

自然特徴点を検出（４）RANSACを用いたカメラ位置・姿勢推定
カメラ位置・姿勢推定に失敗
Yes
カメラ位置・姿勢推定処理の流れ

ランドマークを
選択

No

対応付け

カメラ
位置・姿勢

ビデオカメラの入力画像

実験結果
データベースから選択されたランドマーク
入力画像と対応付けられたランドマーク
RANSACによって誤対応を排除した後のランドマーク

カメラ位置・姿勢推定に要した時間：1フレームあたり2～3秒
カメラ位置・姿勢推定に用いたランドマーク数：1フレームあたり100個
マシンスペック：CPU Pentium4 3.0GHz メモリ 1.5GB

0-57 -54 -51 -48 -45 -42 -39 -36 -33 -30 -27 -24 -21 -18 -15 -12 -9 -6 -3 0
-3m

カメラ位置・姿勢推定に用いられたランドマーク

入力画像のカメラパス推定結果
ランドマーク作成時に用いた全方位カメラパス
手動で対応付けを行うことで得られた正解データ

カメラパス推定結果
カメラ位置・姿勢推定結果を用いたmatch move

-6
-9 m

3

6

Nara
Nara
NaraInstitute
Institute
Instituteof
ofofScience
Science
Scienceand
andandTechnology
Technology
Technology(NAIST)(NAIST)(NAIST)
VisionandandMediaMediaComputing
ComputingLab.
Lab.
VisionVisionandMedia
ComputingLab.

優先度情報を付加したランドマークデータベースに基づく実時間でのカメラ位置・姿勢推定
視覚情報メディア講座

武富 貴史，佐藤 智和，横矢 直和

拡張現実感とは 現実環境を撮影した画像に対してCGなどを位置合わせして描画することで情報を付加する技術
カメラ位置・姿勢の推定が必要

実環境

カメラ位置・姿勢推定の要求事項
 絶対位置・姿勢を取得できる
 誤差が蓄積しない
 実時間で処理できる

位置合わせ
仮想環境

ランドマークデータベースに基づくカメラ位置・姿勢推定
カメラ位置・姿勢推定処理（オンライン処理）

データベース構築処理（オフライン処理）

z データベースの構築が比較的容易
z 広域な環境で蓄積誤差を含まないカメラの絶対位置・姿勢の推定が可能自然特徴点抽出
入力画像
全方位動画像の取得

環境の三次元復元

問題点

対応付け

ランドマーク情報取得

N個

ランドマークと入力画像中の自然特徴点の照合に多くの計算コストを必要とし，実時間での処理が困難

カメラ位置・姿勢の推定

ランドマーク選択

ランドマークデータベース

F個

研究目的 ランドマークデータベースを用いた実時間でのカメラ位置・姿勢推定の実現
アプローチ ランドマークと自然特徴点の照合回数を削減することで対応付け処理の計算コストを低減照合に用いるランドマーク数の削減

連続フレーム間でのランドマーク追跡処理によって，現フレームの暫定的なカメラパラメータを推定し対応点の探索範囲を小領域に限定

ランドマークへ優先度情報を付加することで，正しく対応づく
可能性の高い小数のランドマークをデータベース中より選択提案手法の探索範囲
暫定的なカメラ位置・姿勢

従来の探索範囲

実験

撮影可能な
ランドマーク

幾何学的な関係より選択

ランドマークデータベース

優先度の高い順に選択照合すべき自然特徴点数の削減利用される確率の高いランドマーク

処理時間の比較Y(m)4

処理時間（ms）
処理時間の比従来手法
提案手法（ランドマーク数80個） （ランドマーク数60個）

0

Y(m)
4

従来手法
真値

提案手法

4

12

36

38

40

42

44
X(m)

暫定的な
カメラ位置・姿勢の推定

0
0

8

16

20

24

28

32

36

40

44

48

52

56

推定されたカメラパス（環境内を上から見た図）

60
X(m)

位置・姿勢推定精度の比較
従来手法

提案手法

平均位置誤差(mm)338（標準偏差555） 233（標準偏差147）
カメラの光軸向きの平均誤差(度) 0.80（標準偏差0.62） 0.81（標準偏差0.60）

VisionVisionandandMediaMediaComputing
ComputingLab.
Lab. Graduate
GraduateSchool
SchoolofInformation
ofInformation
Information
Science
Science
Science
Nara
NaraInstitute
InstituteofofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)-28-

ランドマークの選択

12

1

0.08

ランドマークの対応付け

316

15

0.05

誤対応の排除とカメラ位置・姿勢推定

61

17

0.28

画像の取得など

4

5

1.25

全体

393(2.5fps)

66(15.1fps)

0.16

NaraInstitute
Instituteof
ofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)
Nara
Nara
InstituteofScienceandTechnology(NAIST)
VisionVisionandMedia
ComputingLab.
VisionandandMediaMediaComputing
ComputingLab.
Lab.

画像特徴点の特異度を考慮したランドマーク照合による一枚の画像からのカメラ位置・姿勢推定の高速化とロバスト性の向上
奈良先端科学技術大学院大学 視覚情報メディア講座
西海 嘉志，佐藤 智和，横矢 直和
カメラ付き携帯機器を利用したヒューマンナビゲーション
ユーザ

入力：静止画像１枚

ユーザ

サーバ

出力：AR画像１枚

データベース

○○○駅

送信

返信

カメラの位置・姿勢推定

従来研究

カメラの位置・姿勢を利用して画像にナビゲーション情報を付加

スケール不変特徴量を用いたランドマークデータベースに基づく静止画像からのカメラ位置・姿勢推定（薄ら）

問題点 全組み合わせ探索によるランドマーク照合における計算コスト大，精度低下
研究目的 ランドマーク照合における計算コストの低減，誤対応の低減
アプローチ

環境における特異さを用いたランドマーク照合に用いるランドマークの絞り込み
特異度 対応付けの信頼度の指標として設定

環境の撮影画像

特徴点抽出
窓枠等の類似パターンの多い画像（特異度が低い）＝誤対応の可能性高
杭，モニュメント等の環境特有の画像特異度が高い）＝誤対応の可能性低
優先的に照合し，撮影された環境の位置の絞り込みに使用処理の流れ
特異度の高いランドマークを照合

特異度の低いランドマークを照合
基準ランドマーク周辺のランドマークを探索

基準ランドマークの決定

カメラ位置・姿勢推定照合したランドマークからPnP問題を解く

撮影可能地点実験：実環境においてデータベースを作成
薄(ら）
従来手法

推定成功率
平均位置誤差平均姿勢誤差平均再投影誤差

従来手法（薄ら）
41.2％
6.8m
3.9m
2.0画素

提案手法
52.7％
2.8m
1.2m
2.2画素

処理速度向上効果の確認（入力画像70枚）

提案手法

入力画像例

ロバスト性向上効果の確認（入力画像70枚）

処理

対応付け結果
画像上の特徴点
ランドマーク

特徴抽出
特異なランドマークの選択
ランドマークの選択
位置推定結果真値
投票位置 カメラ位置・姿勢推定
合計[sec]
推定位置

VisionandMedia
ComputingLab.
Graduate
SchoolInformation
Science
Nara
Institute
ScienceandVisionVisionandandMediaMediaComputing
ComputingLab.
Lab. Graduate
GraduateSchool
SchoolofofofInformation
InformationScience
Science Nara
NaraInstitute
InstituteofofofScience
ScienceandandTechnology(NAIST)
Technology
Technology(NAIST)(NAIST)

従来手法（薄ら）
14.5
111.6
10.3
136.4

提案手法
14.7
3.8
35.7
2.8
57.0

Ｕｂｉｑｕｉｔｏｕｓ
Ｕｂｉｑｕｉｔｏｕｓ Ｎｅｔｗｏｒｋｅｄ
Ｎｅｔｗｏｒｋｅｄ Ｍｅｄｈｉａ
Ｍｅｄｈｉａ Ｃｏｍｐｕｔｉｎｇ
Ｃｏｍｐｕｔｉｎｇ

全方位マルチカメラシステムを用いた蓄積再生型テレプレゼンス
視覚情報メディア講座 池田 聖，佐藤 智和，横矢 直和
遠隔地の映像をインタラクティブに提示することにより、あたかも遠隔地にいるかのような感覚を与える技術はテレプレゼンス呼ばれる。複数のカメラを組み合わせた、全方位型のマルチカメラシステムを用いて高解像度な全方位動画像を取得し、没入型ディスプレイに提示することで臨場感の高いテレプレゼ
ンスを実現する。全方位マルチカメラシステムからは、レンズ歪み、周辺減光、カメラ間の色調のずれを含んだ各カメラの画像が得られる。あらかじめ画像からカメラシステムの内部構造やレンズ・撮像素子の特性を推定し、自動的にそれらを補正しつなぎ合わせた画像を生成する。このようにして生成された画像と没入型ディスプレイを用いた２種類のテレプレゼンスシステムにより遠隔地の疑似体験ができる。

① 画像の取得：全方位マルチカメラシステム Ladybug

特徴
水平5個＋上向き1個のビデオカメラを装備
一度に全天球の約75%の視野を撮影可能
高解像度( 768×1024×6 )動画像(15 fps )として取得可能
約20分間蓄積可能

カメラヘッド

蓄積ユニット

② 提示画像の生成：
幾何学的キャリブレーション

光学的キャリブレーション

補正前

補正後

① 周辺減光補正

補正前

補正後

補正前

② 色調補正補正後③ 歪み補正カメラの位置・姿勢

つなぎ合わされた全方位画像④ カメラの位置・姿勢を用いた画像のつなぎ合わせ③ 没入型ディスプレイによる提示：
動的な環境のテレプレゼンス

静的な環境のテレプレゼンス

描画用
PC(12台)

制御用 PC B
プロジェクタ (12台)
3面スクリーン
位置センサ
鏡
歩行装置

球面ディスプレイとゲームコントローラを用いたテレプレゼンスシステ
ム。移動する自動車やジェットコースターに乗り、周囲の景色を見回す感覚を得ることができる。利用者はゲームコントローラを用いた見たい方向を自由に選択する。

制御用 PC A

歩行装置とマルチプロジェクションディスプレイを用いたテレプレゼンスシステム。周囲を見回しながら静的な遠隔環境を自由に歩行移動する感覚を得ることができる。利用者の両足に取り付けられた、位置センサの情報を基に歩行装置のベルト及び映像が制御される。

NaraInstitute
Instituteof
ofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)
Nara
Nara
InstituteofScienceandTechnology(NAIST)
VisionVisionandMedia
ComputingLab.
VisionandandMediaMediaComputing
ComputingLab.
Lab.

人物大装置の組み立て作業改善活動支援のための距離画像センサを用いた俯瞰画像からの人物姿勢分類
髙橋 典宏*1，山澤 一誠*1，生雲 公啓*2，野田 賢*3，横矢 直和*1
奈良先端科学技術大学院大学 {*1視覚情報メディア講座，*3システム制御・管理講座} *2オムロン株式会社

研究背景製造工場では，生産性・製品品質向上のための作業改善活動(IE：Industrial Engineering)が常に行われている

従来のIE

従来のIE支援手法• ストップウォッチを用いて作業時間を計測• 手書きによる作業内容，作業時間の記録• 同じ作業の繰り返し観測が必要

製造現場

作業改善活動

ジャシィ株式会社 “OTRS” など

観測・分析では多くの手間と時間がかかる

改善案の検討

効率化

観測・分析の効率化と精度向上を実現

IE支援手法の研究・開発に期待

リードタイムの長い作業への適用が困難

観測

分析※リードタイム：製造の開始から終了までに要する時間

研究目的

俯瞰距離画像からの人物姿勢分類

作業改善活動支援のための人物の姿勢分類

俯瞰距離画像特徴量 人物領域の大きさ
重心座標 など

対象作業
セル生産方式による人物大装置の組み立て作業

人物領域の抽出
教示姿勢

券売機，ATM，基板検査装置など

特徴量の抽出

リードタイムが長い
観測漏れのないIEは困難

学習モデル

立位

複雑な多数の工程を持つ

姿勢分類

同工程，同作業者でも動作に再現性がない低い位置での作業が多い工程だな

：踏み出し

立位
0.14%

しゃがみ込み42.10%

四つん這い
1.96%

工程番号

不在
54.75%

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

学習

床

踏み出し

：前屈

：しゃがみ込み：四つん這い四つん這い

特定の姿勢遷移

：不在

工程1

踏み出し
立位
前屈
しゃがみ込み
四つん這い

19

0

5

10

15

20

25

30

35

40

45

50

55

60

65

時間 [分]

工程9
5

9.5

：立位

しゃがみ込み0 5 10 15 20 25 30 35 40 45 50 55

特定の姿勢の発見
0推定

作業者の姿勢遷移に基づくIE支援

単位工程(時間)当たりの姿勢出現頻度
工程9

前屈

天井

学習

推定姿勢 学習モデル※セル生産方式：１～数人の作業者がセル(作業場)内において，一人が多工程を担当
しながら部品の取り付けから検査までの全工程を行う生産方式

踏み出し
1.05%

教示データ

10

9

VisionandMedia
ComputingLab.
Graduate
SchoolInformation
Science
VisionVisionandandMediaMediaComputing
ComputingLab.
Lab. Graduate
GraduateSchool
SchoolofofofInformation
InformationScience
Science
Nara
Institute
ScienceandTechnology(NAIST)
Nara
NaraInstitute
InstituteofofofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)

発生自体がムダと直結する姿勢が一目で見つかるな

10.5

19.5

20

何度も上下動を繰り返しているな･･･ 一定の姿勢で作業ができるようにしよう

長時間同一の姿勢を取っている作業の発見
長時間の前屈
姿勢は腰を
痛めるぞ

工程1
0

27

5

10 15 20 25 30 35 40 45 50 55

27.5

28

UUUbbbiiiqqquuuiiitttooouuusssNNNeeetttwwwooorrrkkkeeedddM
M
MeeedddiiiaaaCCCooommmpppuuutttiiinnnggg

地理情報データベースとweb検索を用いた
撮影位置・姿勢情報に基づく
写真キャプショニングシステム
岩崎 季世子，山澤 一誠，横矢 直和
URL: http://yokoya.naist.jp/~kiyoko-i/ E-mail: kiyoko-i@is.naist.jp

研究背景
デジタルカメラ等の手軽な撮影機器の普及

キャプショニングにより効率的な閲覧・検索を実現

大量の写真が整理されないまま蓄積

西塔

金堂

東塔

鐘楼

大講堂

東院堂

撮影位置・姿勢情報に基づく半自動写真キャプショニングシステム

アプローチ

プロトタイプシステム

 撮影位置・姿勢情報に基づくキャプション候補の取得

クライアント– 地図データベースの参照

センサ付カメラ– web検索を用いた関連語抽出処理

寺の名称
薬師寺

既存データ

PC

ジャイロセンサ
Inertia Cube2(INTERSENSE)
方位角
仰角

東塔 ･･･ 西塔
関連する 金堂
地名・施設名寺内の施設の名称
 ユーザによるキャプション選択をフィードバックとした

地理情報データベースの更新

処理の流れ
撮影

PHS b-mobile(日本通信)
通信速度:128kbps

GPS
eTrex Summit(Garmin)
緯度
経度
Camera 写真
EOS Kiss Digital(Canon) Exif

被写体位置の推定

PC VGN-U71P(SONY)

キャプションの入力[DB]

地理情報データベース参照によるキャプション候補の取得
キャプションの選択

適切な
キャプションあり[web]

適切なキャプションなし

ネットワーク

① 撮影
位置・姿勢
情報

②キャプション
候補③キャプション

web検索を用いた関連語抽出処理
によるキャプション候補の取得

適切なキャプション
キャプションの選択なし
適切なキャプションあり

サーバ
関連語
抽出処理

地理情報
データベース[key] キーボードによるキャプションの入力
name latitude[deg] longitude[deg]
薬師寺 34.668878
135.784313
135.839758
東大寺 34.689028…

…

…

写真にキャプションを付加

web

地理情報データベースの更新

実験
ユーザ12名が各４枚の写真を撮影・キャプショニング[撮影対象] 学内の施設
情報科学研究科：２枚
バイオサイエンス研究科：１枚 実験全体で48枚
他４施設：ユーザ任意の１枚[地理情報DB]
市販の地図ソフトの施設データを予め登録（撮影対象施設のうち１施設のみ登録済）

ユーザによる入力の様子

ユーザのシステム利用による地理情報データの新規登録・更新
GG rr aa dd uu aa tt ee SS cc hh oo oo ll oo ff II nn ff oo rr mm aa tt ii oo nn SS cc ii ee nn cc ee

キャプション選択

キャプショニング作業結果
キャプション キャプションを 平均入力 平均提示
入力方法 付加した枚数 時間[秒]
順位
10
[DB]
1.8
43
22
[web]
66.3
3
113
[key]
2
-

キャプショニング作業の効率化（より適切な候補の提示）拡張現実感のための画質に着目した幾何学的・光学的整合性の向上に関する研究
奈良先端科学技術大学院大学 視覚情報メディア講座○奥村 文洋 神原 誠之 横矢 直和{bunyo-o, kanbara, yokoya}@is.naist.jp URL: http://yokoya.naist.jp/

実環境と仮想物体の間の画質の差を軽減するためのアプローチ

拡張現実感における画質に関する整合性問題
拡張現実感における基本的な問題：

実画像からのぼけ推定と仮想物体に対するぼけ再現に基づいた実時間画像合成

z 幾何学的整合性（実環境と仮想環境の位置あわせに関する整合性）
z 光学的整合性（仮想物体と実環境の陰影や画質に関する整合性）

実環境

ぼけ推定

従来，実画像と仮想物体の画質の差はあまり考慮されていない
ぼけを再現
して描画

仮想物体
合成

ぼけが生じている
実画像

ぼけを再現
した画像

※ビデオシースルー型拡張現実感を対象

ぼけが無い仮想物体(PSF：Point Spread Function)

提案手法で用いるぼけモデル
物体z 焦点ずれによるぼけ（Ẑ f ）光軸{ カメラから物体までの奥行きに依存{ 合焦位置レンズ

画像面処理B1－マーカのエッジ付近の画素に対する関数当てはめによるぼけ幅の推定Ẑ fz モーションブラー（L̂, Θ̂ ）実画像中のマーカのエッジ付近をサンプリング{ 画像面上で均一な平行移動（ユーザの頭部の回転によって生じると仮定）{ モーションブラーの大きさ，方向提案手法で用いるPSFの形状
P ( x, y; r , l , θ )ユーザの上下・左右の首振りによって生じるぼけy) 楕円の内部

カメラの位置・姿勢を推定
複数のマーカを識別
ＰＳＦのパラメータ推定に用いる円状のエッジ

z 二値化，ラベリングにより，マーカ候補を抽出
z マーカの4頂点とＩＤから暫定のカメラ位置・姿勢を推定

システム構成rf ( p)rp0r

画素の位置 ( p )奥行きの異なる複数のマーカのＰＳＦパラメータから推定
合焦位置：評価関数（ＰＳＦのパラメータ r とぼけと奥行きの関係式の差の2乗和）が 最小となる
合焦位置
モーションブラー：各マーカのＰＳＦパラメータl,θの平均値

i

処理B2－様々な方向のエッジ毎のぼけ幅からのPSFパラメータ ( r , l , θ )の推定

処理E－ぼけを考慮した仮想物体の描画と実画像への合成

rr+l

処理A－提案手法で用いるマーカとマーカの検出

実画像
の画素

ぼけ幅 d

x

r

処理D－カメラの合焦位置とモーションブラーの推定関数の当てはめによるぼけ幅の推定

モーションブラーの方向

その他

x, y :注目画素からの相対位置

画素の輝度値

画質の一致を図った画像合成手法(

仮想物体の画像

r+l

画像マーカ

光源環境取得カメラ（Pointgray Flea,
VGA, 30fps）

マスク画像

PSFパラメータ

グラフィックスハードウェアによるフィルタ処理

ぼけ幅に対してPSFを示す
楕円を当てはめる

エッジの様々な方向でぼけ幅を推定処理C－ぼけを考慮したカメラ位置・姿勢の推定
1. マーカの外周エッジの位置の推定
2. 外周エッジの位置に対する直線の当てはめ
3. 直線の交点からマーカの頂点を推定
4. マーカ座標系におけるカメラ
位置・姿勢の推定

画像合成結果ぼけ再現後の ぼけ再現後の仮想物体の画像 マスク画像

実画像

画像合成

実画像とぼけを再現した仮想物体を 約10fpsで合成可能
ぼけている

ユーザ視点カメラ（LuCam LU-135
XGA, 15fps）

合成

【特徴】
z パラメータ表現されたＰＳＦによる画像のぼけの記述
z ＰＳＦパラメータをマーカのエッジから実時間推定
z 仮想物体に対するぼけ再現をグラフィックスハードウェア
を用いて高速化

画質に差があるため違和感を感じる1⎧⎪⎪π (r + l )2 + r 2
=⎨
⎪
0
⎩⎪

実画像

カメラで撮影

くっきりしている

ユーザ視点画像計算機（Core 2 Quad 2.4GHz,
Memory 4GByte,
GeForce 8600 GTS,
Video memory
256MByte）

光源環境画像

くっきりしている提案手法による画像合成結果

カメラの焦点を近景に合わせた場合の画像合成結果

ぼけている

カメラの焦点を遠景に合わせた場合の画像合成結果NaraInstitute
Instituteof
ofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)
Nara
Nara
InstituteofScienceandTechnology(NAIST)
VisionVisionVisionandMedia
ComputingVisionandandMediaMediaComputing
Computing Lab.
Lab.
Lab.
Lab.

ハイダイナミックレンジ画像からの光源環境推定による
拡張現実感のための光学的整合性の実現
視覚情報メディア講座 仁科 勇作，奥村 文洋，神原 誠之，横矢 直和
研究背景
光学的整合性の実現

光学的整合性問題の解決に関する従来研究の問題点

写実的な仮想物体の描画が要求される拡張現実感では，光学的整合性の実現が望まれ，実環境と仮想環境の間の光源環境を推定するカメラのダイナミックレンジ不足による，
仮想物体の写り込みにおける写実性の低下を考慮していない・ 影・陰影・ 写り込み写り込みの再現のため計測が必要な放射照度の範囲の矛盾を解決する必要がある

カメラが計測可能な放射照度の範囲
放射照度

製品設計への応用例

目的とアプローチ
目的 動的な光源環境に対し，カメラのダイナミックレンジ不足の問題を解決することで，写実的な写り込みを再現可能なARを実現
アプローチ

ユーザ視点画像取得

ユーザ視点画像＋

実環境
光源環境画像取得

仮想物体を描画

HDR画像生成技術を適用

HDRレンダリング

HDR画像生成
露光時間を段階的に変更して，異なる放射照度の範囲を計測し，HDR光源環境画像を合成
写り込みの再現のため計測が必要な放射照度の範囲

仮想物体

AR画像

ダイナミックレンジを一致させる

HDRレンダリング

トーンマッピング

HDR光源環境画像を環境マッピング

HDRレンダリングされた仮想物体とユーザ視点画像のダイナミックレンジを一致させる光源

露光時間

仮想的な球に環境を投影

HDRレンダリングされた仮想物体の放射照度の範囲
反射ベクトルによる参照

トーンマッピング[ms]

物体

光源環境画像視点

ユーザ視点画像から計測可能な放射照度の範囲
環境マップ

放射照度

放射照度

画像合成結果

Ａ

Ａ

Ａ

B

B

B

HDR光源環境画像からの光源環境推定によるAR合成画像
VisionandMedia
ComputingLab.
Graduate
SchoolInformation
Science
VisionVisionVisionandandandMedia
Media
MediaComputing
ComputingComputingLab.
Lab.
Lab. Graduate
Graduate
GraduateSchool
SchoolSchoolofofofofInformation
Information
InformationScience
Science
Science
Nara
Institute
ScienceandTechnology(NAIST)
Nara
Nara
NaraInstitute
Institute
InstituteofofofofScience
Science
Scienceand
andandTechnology
Technology
Technology(NAIST)(NAIST)(NAIST)

Ａ
B

光源環境推定に用いるカメラのダイナミックレンジ
不足を考慮しない場合のAR 合成画像

UUUbbbiiiqqquuuiiitttooouuusssNNNeeetttwwwooorrrkkkeeedddM
M
MeeedddiiiaaaCCCooommmpppuuutttiiinnnggg

装着した３次元磁気センサを用いた歩き・走り状態に対応したユーザの自己位置推定
山中 一樹，神原 誠之，横矢 直和
URL: http://yokoya.naist.jp/
ユーザの位置推定手法

研究背景
モバイル端末を持ったユーザへの位置依存情報提示
応用例

屋外環境 ： GPSを用いることが一般的
組み合わせて屋内環境 ：インフラによる絶対位置の取得
推定
自律計測による相対移動量の推定

ヒューマンナビゲーションエンターテイメント

ユーザの○ 装着センサのみで推定可能○ 絶対位置を取得可能
× 利用範囲に比例して設置コスト増 × 蓄積誤差の発生
× ユーザの動作を制限

姿勢： コンパス・ジャイロなどで取得可
位置： 多様な環境で取得できる手法がない

目的

絶対位置
を取得

実際の位置

走りにも対応可能な相対移動量計測手法の開発

自律計測の精度向上

アプローチ
ユーザの歩数と移動動作を計測
自律計測による
推定位置

計測対象
z 腰と各足の相対位置関係（３次元磁気センサ）z 腰の絶対姿勢（姿勢センサ）
z 足の接地タイミング（押しボタンスイッチ）

インフラの設置コストを低減できる現在位置のリセット

ユ ザの動きに制限の無い自律計測手法が望まれる
ユーザの動きに制限の無い自律計測手法が望まれる

自己位置推定手法

相対移動量

R
T

b1

T

b2

w

T

推定手順

z 左右の踵の相対位置
z両足が宙に浮く期間では腰は放物運動しているとして腰の移動量を計算

T

f1

R

f

R

仮定：両足が宙に浮く期間
では腰は放物運動するb

1. 接地足の判定
2. ステップベクトルの計算
p = (R (T f 1+ R f T f 2) − R (T b1+ R bT b2 ) )+ L
3. ステップベクトルの加算

提案システムの機器構成

wt

heel

f2

w ( t − Δt )t

両足が宙に浮く期間の移動量t − Δt[L=
３次元磁気センサ
patriot(Polhemus,Inc.)

pheel

pheel

i-1

pheel

i

]

v Δt
x

v Δt
y

v Δt − 1 g Δ t
z

2

2

i+1

推定移動量のキャリブレーション[腰]問題点: ふみきり足の踵が浮き上がる
解決策: 踵の浮き上がり量を推定して補正[腰]定められた距離を一定の速度で数回走る

マイクロスイッチ[脛]* [ ]: センサの装着箇所

鉛直方向のがり量(ｃｍ)
踵浮き上が

[踵]

進行方向の
踵浮き上が
がり量(cm)各回ごとに速度を変化させて走る
40
35
30
25
20
1.5

2

2.5

3

3.5

進行方向速度(m/s)

25
20
15
10
5
1.5

2

2.5

3

学習

速度と誤差の傾向

進行方向速度に応じた
踵浮き上がり量を腰の位置に加算3.5

進行方向速度(m/s)

自己位置推定結果

calibrated
uncalibrated
start

1
0
-1
-2

goal

0

5

10

15

20
x [m]

GG rr aa dd uu aa tt ee SS cc hh oo oo ll oo ff II nn ff oo rr mm aa tt ii oo nn SS cc ii ee nn cc ee

4
3

goal
y [m]

y [m]

直線走り
３．４[%]
円状走り
４．９[%]

start

3
1
-1
-3
-5
-77
-9

2

goal 1 start0-2 -1-1 0 1 2
-2
-3
-4

25

30

35

3

4

5

6

7

uncalibrated
calibrated

1
-1
-3

z [m]

z評価指標
位置推定誤差率
終点の位置推定誤差 [%]
総移動量

位置推定誤差率

z [m]

z実験経路
30ｍの直線走り
直径6ｍの円状走り

-2

-1

0

1

2 3 4
x [m]

5

6

7

被写体距離を考慮したImage-Based Renderingによる広域屋外環境のステレオ画像生成
視覚情報メディア講座
背景堀 磨伊也，神原 誠之，横矢 直和

提案手法の概要

遠隔地の情景を提示し、その場にいる感覚を与えるテレプレゼンスに関する研究が盛ん（A）全方位画像群とカメラ位置・姿勢情報の取得（屋外の自由経路）
左カメラパス
眼間距離

臨場感豊かに情景を提示することが望まれる目的とアプローチ

右カメラパス

全方位カメラ・位置姿勢センサ（RTK-GPS+INS）を搭載した撮影車両：全方位画像取得位置

右カメラ画像

左カメラ画像目的
自由な見回しと立体視を可能とする
屋外環境のテレプレゼンスシステムの構築
全方位パノラマ画像（2048×1024画素）

アプローチ• 広域屋外環境を対象とするために
全方位画像群とカメラ位置・姿勢情報を同時に取得（B）視点位置の設定（見回し時）
左カメラパス（C）生成に用いる光線の選択
画像面

右カメラパス• 立体視を可能とするために被写体距離を考慮してImage-Based
Renderingにより両眼ステレオ画像を生成

O5

眼間距離
O5 O4 O3 O2

右眼視点

O4

視点A

生成画像

処理手順
（A）全方位画像群とカメラ位置・姿勢情報

同等な光線

点P

左眼視点

撮影経路

O1

見回し時の視点位置を近似

点Q O
3
O2

複数の全方位画像を用いて生成（D）DPマッチングを利用した被写体距離の推定（B）生成するステレオ画像の視点位置の設定（C）ステレオ画像生成に用いる光線の選択（D）DPマッチングを利用した被写体距離の推定（E）被写体距離を考慮したレンダリング

視点位置

DPマッチングに用いる光線
同一な光線

光線 l
光線 r

左カメラパスDPマッチングでエッジの対応付け

右カメラパス 撮影位置情報を用いて被写体距離推定

テレプレゼンスシステム

生成されたステレオ画像
360度すべての視線方向の画像を生成（シャッター式眼鏡＋ゲームコントローラ）

被写体距離考慮なし 被写体距離を考慮（従来手法）（提案手法）

左眼画像

右眼画像

立体視と自由な視点移動・視線変更が可能テクスチャの明度変化と局所性を考慮したパターン類似度に基づく
エネルギ 最小化による画像修復
エネルギー最小化による画像修復
奈良先端科学技術大学院大学 視覚情報メディア講座
河合 紀彦，佐藤 智和，横矢 直和
画像修復 ( Image Inpainting)
写真についた傷や意図せず写りこんでしまった物体などの画像内の不要部分を取り除き，取り除かれた領域（欠損領域）を自動的に違和感なく修復
アプローチ
データ領域
欠損領域内
欠損領域内の全てのテクスチャがテク チャ
データ領域のテクスチャと類似

概念

類似ペア

違和感の少ない画像ができるのではないか？

パターン類似度に基づいたエネルギー関数を定義し，それを最小化することで画像修復
しかし単純なパターン類似度のみによるエネルギー関数では，
証明条件等の変化による明度変化
画像内の 透視投影等によるパターン構造の変化

パターン類似度によるエネルギー関数の拡張（赤い領域）

処理手順

欠損領域

拡張１：輝度補正係数の導入

欠損領域に対応できず不自然な画像が生成される

類似ペア

テクスチャの線形的な明度変化を許容
不自然な明度変化による違和感の軽減

画像１枚を入力
対象領域(欠損領域)を手動で入力

拡張２：画像の局所性を考慮した項の追加
近傍テクスチャへのマッチングコストを低下
不適切なマッチングによる不鮮明なテクスチャ生成の抑制

明るく

暗く

単純なパターン類似度
のみによる修復結果

エネルギー最小化による
画素の更新

類似ペア
欠損領域

エネルギーが収束したか？
単純なパタ ン類似度
単純なパターン類似度
のみによる修復結果提案手法による
修復結果

ぼけを防止し，細かいテクスチャを再現

No

Yes
提案手法による修復結果

画像１枚を出力

滑らかな明度変化を再現

実験結果

原画像

欠損画像

修復画像

原画像

欠損画像

修復画像

NaraInstitute
Instituteof
ofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)
Nara
Nara
InstituteofScienceandTechnology(NAIST)
VisionVisionandMedia
ComputingLab.
VisionandandMediaMediaComputing
ComputingLab.
Lab.

局所形状の類似度に基づく
エネルギー最小化による三次元欠損修復
奈良先端科学技術大学院大学 視覚情報メディア講座
河合 紀彦，佐藤 智和，横矢 直和
三次元欠損修復

実物体に対する計測を行う際のオクルージョン等による計測漏れによって生じる
三次元モデル内の欠損領域を自動的に違和感なく修復
アプローチ
概念

類似した局所的な形状を合成することで，違和感なく修復できるのでは？

同一物体内に欠損領域内の形状と類似する形状が存在する可能性が大きい

局所的な形状の類似度に基づくエネルギー関数を定義し，それを最小化することで欠損領域を修復
エネルギー関数の定義

類似局所形状欠損領域を含む領域 Ω′内の頂点 p i とそれ以外の領域の頂点 p̂ i の周辺の局所形状の類似度SSDの重み付き和E =∑p ∈Ω′ wpi SSD(p i , pˆ i )i∑

p i ∈Ω′欠損領域

wpi

エネルギーが小さい

欠損領域内の形状が同一物体上のどこかの形状と類似している

Ω′p j

p̂ j

pi

p̂ i

類似局所形状エネルギー関数の最小化手法
処理(i)と処理(ii)をエネルギーが収束するまで繰り返すことで，欠損領域を修復処理手順
開始
対象となる欠損領域の指定欠損領域内に初期値（頂点と面）を設定(i) 欠損領域内の全ての頂点の位置を固定し，欠損領域内の頂点 p i と最も類似した(Eが最小となる)形状を持つ頂点 p̂ iの探索

エネルギー最小化による頂点の位置の更新(ii) (i)で求まる欠損領域内の頂点と類似した頂点の位置を固定し，類似した頂点周辺の形状を用いて，欠損領域内の頂点 p i の位置を更新

頂点の密度を考慮した頂点の追加と削除

頂点の密度を上げながら上記のエネルギー最小化処理を反復

No
エネルギーは収束したか
Yes
終了

実験結果

欠損をもつモデル

修復したモデル

VisionandMedia
ComputingLab.
Graduate
SchoolInformation
Science
VisionVisionandandMediaMediaComputing
ComputingLab.
Lab. Graduate
GraduateSchool
SchoolofofofInformation
InformationScience
Science
Nara
Institute
ScienceandTechnology(NAIST)
Nara
NaraInstitute
InstituteofofofScience
ScienceandandTechnology
Technology(NAIST)(NAIST)

欠損をもつモデル

修復したモデル