遠隔地の視覚的環境を観測者の周囲に再現する実験システムの開発と UZUME 計画への応用
床井浩平（和歌山大学）
大山英明（産総研）
河野功（JAXA）

はじめに
この研究の立場

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

2

研究目的
◼ 遠隔地にあるものを目の前にあるように見せる◼ 目の前に見えるものを操作して遠隔地に関与する

視覚の伝送遠隔操作
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University3

遠隔操作型代理科学者 (ERSA) の実現◼ テレイグジスタンス (telexistence) 技術を利用する◼ バーチャルリアリティの一分野◼ 遠隔地にある人や物を身近にあるように感じさせる◼ その環境下で遠隔操作などをリアルタイムに行う◼ テレロボティクス (telerobotics) 技術と組み合わせる◼ テレイグジスタンスロボット◼ リアルに再現された遠隔地の環境下で操縦する◼ 現地で作業しているような感覚を与える
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

4

テレイグジスタンスロボットの二つの方向
操縦者の周囲に現地の環境を再現する

対象が操縦者の手元にあるように見せる
地球上
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University5本研究の目標

自分がそこに行く相手を連れてくる
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

6

相手が目の前にいるように感じさせる

栗田滋弘, “没入型ディスプレイを用いた臨場感通信に関する研究,” 2001年度卒業研究2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

7

遠隔地の視覚的環境を観測者の周囲に再現する実験システム
TelExistence Display System (TED)

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

8

システム概要

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

9

システム構成例
入力側

表示側
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

10

システムの機能◼ 映像の入出力に多様な設定が可能◼ 入力側◼ 単眼カメラ, ステレオカメラ, 魚眼カメラ, ステレオ魚眼カメラ,全方位カメラ, 全方位ステレオカメラ, RGB-D センサ◼ 表示側◼ 単眼ディスプレイ, 立体視ディスプレイ (サイドバイサイド, トップアンドボトム), HMD (Oculus Rift DK2 / CV1 / S)

◼ 3D モデルの重畳表示◼ Alias OBJ ファイルの読み込みと JSON によるシーン記述◼ ジェスチャセンサ (Leap Motion) による制御

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

11

シーンの記述◼ JSON によるグラフ形式{“position”: [ x, y, z ],“rotation”: [ x, y, z, angle ],“scale”: [ x, y, z ],“model”: “形状データファイル名”,“controller”: 変換行列番号,“children”: [シーングラフのノード,：
シーングラフのノード]◼ Alias OBJ 形式の形状デー

タの読み込み◼ 共有メモリを介して外部プログラムで取得した配置情報を参照可能◼ 外部インタフェース}◼ Leap Motion◼ トラッキングカメラ
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

12

仮想物体の重畳

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

13

ネットワーク機能◼ 作業者側の環境映像を操縦者に伝送◼ 作業者と操縦者のヘッドトラッキング情報を交換◼ 作業者と操縦者のジェスチャ (手の姿勢) を交換◼ 互いの姿勢を互いの視野に重畳表示◼ 作業者側の周囲の距離情報を操縦者側に伝送 (未了)◼ RGB-D カメラ及び全方位ステレオカメラによる取得◼ 現在システムに統合中◼ UDP によるリアルタイム／ステートレスなデータ転送
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

14

通信手順

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

15

視界の共有2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

16

UZUME 計画への応用
環境が大きく異なる遠隔地の場合

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

17作業者と操縦者の環境は異なる作業者（遠隔操作型代理科学者）

2019/9/7◼

操縦者（地上の科学者）

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

18

遠隔環境の再現において考慮すべき点◼ そもそも遠隔環境は人間に知覚が容易 (可能) なのか◼ 大半の科学者は月面や宇宙環境における経験を持たない◼ 明度環境の不一致◼ コントラスト・ダイナミックレンジが異なる◼ 色彩環境の不一致◼ マルチスペクトル画像の取り扱い◼ スケールも異なる
月面の映像はコントラストが非常に高い
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University19科学者に適切な情報提示を行う◼ 再現する遠隔環境を地上の環境に合わせる◼ 地上の環境との合成◼ 放射照度マッピング◼ リライティング (再照明)◼ 提示すべき情報を抽出・強調・加工する◼ 疑似カラー・イラストレーション化◼ トーンマッピング◼ 科学者との議論が必要
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University20放射照度マッピング

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

21

制限事項
◼ 伝送帯域が狭い◼ 1Mbps も確保できない？

◼ 電波が弱い (遠い，電源容量が制限されている，等)◼ これは将来技術的に解消できる可能性がある◼ 伝送遅延が大きい◼ これを解消する方法は現時点では現実には存在しない◼ 光(電波)でも月まで約1.3秒，火星まで約4分28秒◼ TCP の3ウェイハンドシェークのようなものは使い物にならない◼ 対話的な操作が困難
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University22

視点の追従性の改善◼ 操縦者の視点は随意的に移動する◼ 体が移動しなければ移動量は相対的に小さい◼ ロボットの視点は固定されている◼ カメラはロボットヘッドに固定されている◼ 映像に伝送遅延が存在するロボットの視点を固定したまま操縦者が任意の視点から見られるようにする
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University23広角 (魚眼) 画像を用いた視野の安定化

ただし• 正面しか立体視にならない• 頭が傾くと融像しない
大山 他, “TelExistence Display System (TED):テレイグジスタンス／遠隔行動誘導／体験共有のための AR 表示オー
プンソースソフトウェア,” 計測自動制御学会システムインテグレーション部門講演会, Vol. 18, P. 2C2-06, 20172019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University24

遅れのあるテレイグジスタンスロボット

予測CGと遅れて動作する実ロボット

遠景と近景に分ける◼ 遠景◼ ロボットの作業空間における自己位置の把握◼ 環境に対する移動量は相対的に小さい◼ 深度のみを利用し occlusion は反映しない◼ 近景◼ 探査対象の詳細形状の把握◼ 覗き込むようなことがある◼ 3次元形状を計測する◼ 遠景に近景を重畳して表示する
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

27

遠隔操作型代理科学者の作業空間
遠景

近景ロボット(ERSA)

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

28

遠隔環境の再現手法◼ 遠景の全方位 (全天球) 画像◼ あらかじめ遠隔地の環境映像を操縦者側に蓄積しておく◼ 遠隔地の環境は短時間に大きく変化しないものと仮定◼ 遠景と近景の距離画像の利用◼ 遠景は全方位ステレオ計測により取得する◼ 近景は RGB-D センサ (ステレオまたは TOF)により取得する

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University29

宇宙空間で使用可能な小型全天球カメラ◼ JAXAとRICOHの共同開発◼ 宇宙ステーション補給機「こうのとり」8号機でISS に運搬◼ 「きぼう」日本実験棟の船外実験プラットフォー
ムから撮影予定◼ 2019年8月28日発表◼ RICOH THETA S ベース◼ THETA S は本研究で使用

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University30遠景の距離の取得

輻輳角

全方位カメラ2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

31

等距離射影魚眼レンズによる輻輳角と位置
𝛿𝑤
𝛿

𝛿0𝐩𝑟𝐩𝑟sin(𝛿 + 𝛿0 )𝑤
正弦定理より 𝑟 =sin 𝛿
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University32ステレオ魚眼画像による輻輳角の取得（上段の魚眼画像）同じものが見える小領域𝛿𝛿

小領域を一致させる

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

33

魚眼画像の変形

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

34マッチングコスト◼ 二つの領域が似ているほど低い◼ 全く同じなら０◼ SAD (Sum of Absolute Difference) の場合
𝑤
𝐶 𝑥, 𝑦Σ𝑈 𝑥, 𝑦ℎ Τ2𝑤 Τ2𝐶 𝑥, 𝑦 = ෍෍𝑤

ℎ𝑉 𝑥, 𝑦ℎ𝑈 𝑥 + 𝑖, 𝑦 + 𝑗 − 𝑉 𝑥 + 𝑖, 𝑦 + 𝑗𝑗=−ℎΤ2 𝑖=−𝑤Τ2
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

35

ブロックマッチングによる視差画像

汚い2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

36

近景の取得

対象形状
対象形状RGB-Dカメラ＋モーションセンサ
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University37

デプスマップ融合∩

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

38

デプスマップ融合による形状再構成

汚い森正樹, 床井浩平. "深度センサを用いて再構成した全周形状の立体視 HMD による観測 (現実世界と融合する立体映像および立体映像技術一般)." 映像情報メディア学会技術報告 38.24. 一般社団法人 映像情報メディア学会, 2014.
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

39

光源環境の再現◼ 光源環境に応じて実物体の陰影を変更する◼ 青空の下に居ながら、夕日を浴びているような陰影陰影を変更

伝送環境A

2019/9/7

環境B

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

40

再照明
３Dモデル
全方位カメラカラー/深度画像
RGB-D カメラ

形状の再構築実物体

照明のキャンセル（反射能の推定）

実物体が置かれた
空間の全方位画像

異なる空間の全方位画像

陰影付け
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University41

反射能の推定𝐩 から 𝐯 方向への放射輝度

𝐿𝑜 𝐩, 𝐯 = න 𝑓 𝐥, 𝐯 𝑣 𝐩, 𝐥 𝐿𝑖 𝐥 cos 𝜃𝑖 𝑑𝜔𝑖

完全拡散反射面と仮定

𝐿𝑜 𝐯 ≅ 𝜌𝐸

Ω

RGB-Dカメラのカラー画像

天空の放射輝度v

𝐩 の放射照度
2019/9/7𝑣 𝐩, 𝐥1𝐸 𝐩 = න 𝐿𝑖 𝐥 𝑣 𝐩, 𝐥 cos 𝜃𝑖 𝑑𝜔𝑖𝜋 Ω

反射能遮蔽関数𝐩 から 𝐥 方向に遮るものがなけ
れば1, あれば 0

モンテカルロ法で近似

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University𝜌≅𝐿𝑜 𝐯
𝐸

全方位カメラの天空画像
𝑁1𝐸 ≅ ෍ 𝐿𝑖 𝐥 𝜃𝑖𝑁𝑖=142

環境マップを使った操縦者側の照明
操縦者側の天空の放射輝度
𝐿𝑖 𝐥v𝐩 の放射照度
2019/9/7

𝐸 𝐩 =𝑣 𝐩, 𝐥1
න 𝐿 𝐥 𝑣 𝐩, 𝐥 cos 𝜃𝑖 𝑑𝜔𝑖𝜋 Ω 𝑖Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

43

環境遮蔽を考慮した放射照度マッピング◼ 画素 𝐱 0 の周りに球状に点 𝐱 0 + 𝑟𝑗 𝛚𝑗 を散布する◼ 散布した点に対してデプステストを行う◼ デプステストに成功した
点の方向 𝛚𝑗 の天空の放射輝度 𝐿𝑖 𝛚𝑗 に，その方向の余弦 cos 𝜃𝑖 をかけて合計する
2019/9/7

𝐿𝑖 𝛚𝑗𝑣 𝐱 0 , 𝛚𝑗 = 𝛿 𝐱 0 + 𝑟𝑗 𝛚𝑗 = 1𝑟𝑗 𝛚𝑗𝐱0𝑣 𝐱 0 , 𝛚𝑗 = 𝛿 𝐱 0 + 𝑟𝑗 𝛚𝑗 = 0

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

44光源環境の置き換え手順

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

45

実験◼ ２台の深度カメラで物体を撮影◼ 異なる環境の天空画像による陰影の変化を確認
対象 椅子、人

2019/9/7

撮影環境 屋内

合成先環境 屋外（昼）屋外（夜）Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

46

実験結果

汚い
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University47

おわりに現状を振り返って

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University48

多様な要素技術の統合が課題◼ 形状再構成（モデリング）◼ 全周距離計測（遠景），デプスマップ融合（近景）◼ 再照明（レンダリング）◼ 放射照度計測，反射能推定，放射照度マッピング◼ データ伝送（通信）◼ 符号化，エラーリカバリ，保存と再生◼ モーションキャプチャ（アニメーション）◼ ロボット操作，動作シミュレーション◼ 自由視点観測（AR/VR）
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University49

今後の計画◼ キレイにする◼ 距離測定のノイズ除去・境界判定の精度向上と安定化◼ バイラテラルフィルタ・カルマンフィルタ・SGM の導入◼ 映像通信用コーデックの変更◼ WebRTC などの利用 (現在は Motion JPEG ベース)

◼ トラッキング情報などとの同期◼ 部分更新・注視領域 (ROI) の詳細化

◼ シーン記述の変更◼ 同じ JSON ベースの glTF (GL Transmission Format) に合わせる2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

50

今後の計画◼ 複合センサシステムの開発◼ RGB-Dカメラとモーションセンサを組み合わせた複合センサシステムの開発（単体でリアルタイムSLAM可能）◼ ステレオカメラ、RGB-Dカメラ、モーションセンサを組み合わせた複合センサシステムの開発（RGB-Dカメラの計測不能領域の補填）

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University51

プラットフォームの変更◼ Windows 上で実装中◼ Windows 特有の機能は使っていない◼ ROS への対応
◼ ロボットを相手にすることを考えるなら…

◼ Linux / Android への移行
◼ 低消費電力なデバイスへの対応◼ Oculus Quest などへの対応

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

52

遠隔作業の実現◼ 遠隔環境の精密な取得と再現◼ 視覚環境としてだけでなく作業シミュレーションのため◼ 物理シミュレーションによる作業予測◼ 操縦者の操作による結果の予測映像を重畳表示する◼ 成功した操作コマンドのバッチ送信◼ 実際の結果との比較をもとにリカバリする◼ 高度な自律性をもったロボットが必要◼ 失敗を検知してリカバリできる◼ 遠隔地の状況や環境変化に対応できる
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University53

ロボットの代わりの棒状プローブ◼ 穴の中は暗い
照明（交互点灯）◼ おそらく照明が必要◼ 全方位ステレオカメラ◼ ステレオ計測による距離の取得

全方位ステレオカメラ◼ 複数の照明◼ 照度差ステレオによる勾配の取得◼ 穴が巨大だと難しい？
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

54

まとめ
◼ 遠隔地の視覚的環境を観測者の周囲に再現◼ 遠隔地のものや人を目の前に連れてくる実験システム◼ UZUME 計画への応用◼ 遠隔地の遠景の取得◼ 遠隔地の近景の取得◼ 光源の置き換え◼ システムの統合は未完◼ ソースコードは GitHub にあります◼ https://github.com/tokoik/ted/
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

55

おわり
ありがとうございました

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

56

通信路の伝送遅延への対処◼ あらかじめ伝送された観測対象の測定データとその環境データをもとに手元にあるものとして観測する◼ その手段の一つとしての光源環境の置き換え◼ あらかじめ伝送されたロボットの周囲の環境映像から操縦者の視野の映像を切り出して表示する◼ 操縦者の頭部の動き（視線の移動）に伴う表示の遅れを見かけ上解消することができる
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

57

パノラマステレオ◼ ステレオカメラをパンチルトヘッドで回転してもパノラマステレオ映像は生成できない◼ カメラが回転軸からオフセットしているために全方位画像を生成する際に画像がぶれる◼ 全方位画像上ではエピポーラ平面が一意に定まらない◼ 深度画像を用いる◼ 探査対象の形状測定は必要◼ ステレオカメラ，単眼カメラ，深度センサ等を併用
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University58

全方位画像を用いた場合の問題◼ データ量が大きい◼ 注視方向以外も伝送される◼ 注視方向の解像度が低い◼ 全方位画像の一部を切り取って拡大している

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University59

視野に重畳する仮想物体◼ 世界座標系に配置する物体◼ ロボット，対象物等◼ 操縦者の頭の動きに追従する物体◼ 操縦者の視線マーカーなど◼ ロボットのカメラの動きに追従する物体◼ ロボットの視線マーカーなど

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University60

今後の課題◼ この目的に適した環境映像の伝送手法の開発◼ 環境の深度情報の取得と応用◼ パノラマステレオの実現◼ 探査対象との干渉を考慮した重畳表示◼ 実際のロボットや操縦者のジェスチャーセンサーをこのシステムと接続◼ システムの操作性やロボットによる作業性の評価◼ このシステムによる遠隔ロボット制御フレームワークの検討

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

61

提案手法
遠隔環境の取得

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

62

全方位画像の取得と再生(実装中)

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

63

全方位画像の平面展開処理

Kodak PIXPRO SP360 4K (画角220°)2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University64

深度センサ

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

65

深度画像の平滑化

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University66距離情報のフィルタリング

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University67

人体全周プロジェクションマッピング

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

68Leap Motion コントローラ

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University69

姿勢情報の伝送

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University70

反射率の推定
反射率＝ 反射した光÷ 入射した光・鏡面反射・放射照度・拡散反射

RGB-D カメラのカラー画像

全方位画像
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University71放射照度の見積もり

鏡面反射を持たなければ，

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University72放射照度計算のリアルタイム化

放射照度計算のリアルタイム化

色再現性の検証
全周画像から陰影付けしたCGモデル

2019/9/7◼

同じ光源下で撮影した実物体

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

75

色再現性の検証
全周画像から陰影付けしたCGモデル

2019/9/7◼

同じ光源下で撮影した実物体

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University76

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University77

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

78光源環境の動的変化

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

79リアルタイム放射照度マッピング

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

80

デプスマップによる変位マッピング

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

81デプスマップを使った自由視点表示

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

82

デプスマップを用いた自由視点観測

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

83

実施状況
現状報告

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University84

遠隔環境の取得と伝送◼ 光源環境と視界◼ 全方位カメラを使用して取得した光源環境を操縦者側に伝送し任意の方向の視界の切り出しは完了◼ 全方位カメラからの映像取得および伝送の際の符号化方式の改善が課題◼ 近景と遠景の三次元情報◼ RGB-Dカメラによる近景の取得 (形状再構成) は完了◼ 全方位カメラによる遠景の距離情報の取得は実装中◼ 三次元情報の伝送についても実装中
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University85

操縦者環境の取得と伝送◼ 姿勢情報（ロボットの制御）◼ HMD のヘッドトラッキングおよび Leap Motion による操縦者の頭部と両手の姿勢の取得と伝送は完了◼ 操縦者と作業者双方の姿勢を交換することも可能◼ 光源環境と視界（遠隔行動制御への応用）◼ 操縦者側の光源環境や視界を作業者側に伝送することは当初想定していなかったので未完

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University86

遠隔環境の再現◼ 再照明◼ 再照明の手法についてはほぼ完成◼ システムへの実装は三次元形状の伝送が完了次第◼ 取得した距離情報のフィルタリング手法の改善中◼ RGB-Dカメラ自体を更新中◼ 自由視点観測◼ 全方位カメラによる遠景の距離情報の取得および形状データの伝送の実装が完了していないため未完

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University87

等距離射影方式の魚眼レンズの撮影空間

𝐩 = 𝑥, 𝑦, 𝑧 として𝜑

2019/9/7𝜗𝑦𝜗 = tan𝑥
𝜑 = cos −1 𝑧

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University−188

魚眼画像上の位置
𝜑=𝜋2𝑠, 𝑡𝜑−12𝜑2𝑥 cos 𝑧𝑠=cos 𝜗 =𝜋𝜋 𝑥2 + 𝑦2

𝜗2𝜑2𝑦 cos −1 𝑧𝑡=
sin 𝜗 =𝜋
𝜋 𝑥2 + 𝑦2（正距方位図法）
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

89

二重魚眼画像の場合
𝑧 < 0 のとき𝑧 ≥ 0 のとき

𝑠=𝑡=
2019/9/7

2𝑥 cos −1 𝑧
𝜋 𝑥2 + 𝑦22𝑦 cos −1 𝑧
𝜋 𝑥2 + 𝑦2

𝑠=−2𝑥 cos −1 −𝑧𝑡=Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

𝜋 𝑥2 + 𝑦22𝑦 cos −1 −𝑧
𝜋 𝑥2 + 𝑦290

球状のメッシュ（正距円筒図法）

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University91

格子点の位置𝑦𝑖, 𝑗cos 𝜙𝜙sin 𝜙 cos 𝜃O𝑥O

𝜃sin 𝜙 sin 𝜃𝑥𝑖, 𝑗𝑧

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University92格子点の位置2𝜋𝑖
𝜃=𝑤𝑥 = sin 𝜙 cos 𝜃𝑦 = cos 𝜙𝜋𝑗𝜙=ℎ2019/9/7𝑧 = sin 𝜙 sin 𝜃

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

93

魚眼画像上のメッシュ𝜑𝜗

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University94

緯度𝜙を𝛿ずらす𝑥′ = sin 𝜙 − 𝛿 cos 𝜃𝑦′ = cos 𝜙 − 𝛿𝑧′ = sin 𝜙 − 𝛿 sin 𝜃2𝜑′2𝑥′ cos−1 𝑧′𝑠′ =cos 𝜗′ =𝜋𝜋 𝑥′2 + 𝑦′2𝜑′ 𝜗′𝛿

2𝜑′2𝑦′ cos−1 𝑧′𝑡′ =sin 𝜗′ =𝜋𝜋 𝑥′2 + 𝑦′2
2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University95

テクスチャマッピングによる変形
描画するメッシュ◼

マッピングするテクスチャ

𝑠′, 𝑡′

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University96

視差の連続性を考慮したマッチングコスト◼ 視差が d の時のマッチングコストのペナルティ◼ 直前に処理した画素の視差 d の時のコスト◼ ペナルティなし◼ 直前に処理した画素の視差 d+1 の時のコスト◼ ペナルティ L1 を加える

◼ 直前に処理した画素の視差 d-1 の時のコスト◼ ペナルティ L1 を加える

◼ 直前に処理した画素の最小コスト◼ ペナルティ L2 を加える

◼ 1～4のコストとペナルティーの和のうち最小のものに現在の画素のマッチングコストを加える

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University97

セミグローバルマッチング
𝐿 𝐩, 𝑑𝐩𝐫𝐩−𝐫= 𝐶 𝐩, 𝑑+min{𝐿 𝐩 − 𝐫, 𝑑 ,𝐿 𝐩 − 𝐫, 𝑑 + 1 + 𝐿1,
𝐿 𝐩 − 𝐫, 𝑑 − 1 + 𝐿1,
min 𝐿 𝐩 − 𝐫, 𝑖 + 𝐿2𝑖} − min 𝐿 𝐩 − 𝐫, 𝑖𝑖

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University98

セミグローバルマッチングの実装
pp−r
L(p−r, 0)C(p, 0)L(p, 0)L(p−r, 1)C(p, 1)L(p, 1)L(p−r, 2)C(p, 2)L(p, 2)L(p−r, d−1)
p−r

p+ L1
min +L(p−r, d)L(p−r, d+1)

C(p, d)−L(p−r, i)L(p, d)+ L1

L(p−r, N−1)

C(p, N−1)min
L(p−r, i)

2019/9/7+ L2

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University99

広角 (魚眼) 画像を用いた視野の安定化• 正面しか立体視にならない• 頭が傾いても融像しない
大山 他, “TelExistence Display System (TED):テレイグジスタンス／遠隔行動誘導／体験共有のための AR 表示オー
プンソースソフトウェア,” 計測自動制御学会システムインテグレーション部門講演会, Vol. 18, P. 2C2-06, 20172019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

100近景の取得

対象形状

RGB-Dカメラ

2019/9/7

Visual Media Laboratory, Faculty of Systems Engineering, Wakayama University

101