網膜投影ディスプレイ

RETISSA Display II

プロジェクタ接眼光学系
による HMD

ハンドヘルドディスプレイ

ハーフミラーを用いた据置型ディスプレイApple
EPSON 1. HMD
Vision Pro Moverio BT-40

Once Upon a Time2. ハンドヘルドディスプレイ
VeinViewer
IKEA カタログ
対象の実物体3. 据置型ディスプレイ
4. 投影型システム
MRsionCase

図 1.16

AR 用ディスプレイの分類

モニタ
レンダリング映像

オーバー
レイ画像

光学コンバイナ 実映像(a) 光学シースルー

カメラ
カメラで撮影された映像

実映像
映像合成
レンダリング映像

オーバー
レイ映像
モニタ

(b) ビデオシースルー
図 1.18シースルー型の HMD の映像合成
による分類

光
① 内境界膜視神経
乳頭へ② 神経繊維層網膜③ 神経節細胞層④ 内網状層層構造 （0.2 〜 0.3 mm）

10

電気
信号の伝
達光が透
過

⑤ 内顆粒層⑥ 外網状層⑦ 外顆粒層⑧ 外境界膜⑨ 視細胞層

電気
信号に変換

神経節細胞
アマクリン細胞
双極細胞
水平細胞

桿体細胞
錐体細胞

⑩ 網膜色素上皮層
脈絡膜

図 2.5420

網膜の構造498534 564

吸光度

10050

S

R500
シアン
緑
波長〔nm〕

黄M L

0400

紫

図 2.7

青

視細胞の波長ごとの相対感度

600

赤700

ハーフミラー面接着された曲面
ハーフミラー面
ウェーブガイド

投影光

投影光
投影レンズ
マイクロディスプレイ
図 3.16

曲面ハーフミラーによるコンバイナの光学系10)

平行光束化

マイクロディスプレイ
内部に埋め込まれたハーフミラー群によるアイボックスの拡大
図 3.23

上下左右の 2 方向に光を複製する
LOE の模式図

制御回路

液晶ディスプレイ
液晶ディスプレイ
ハウジング
レンズ

バックライトスペーサ

図 3.29

Fu-Chung らのライトフィールド HMD 17) 。（上）光学系の構成，（下）プロトタイプの様子。

(a)(c)
図 3.30(b)(d)

Maimone らのホログラム AR 用 HMD プロトタイプ18)

(a)

(b)

(c)
図 3.31

Maimone らのピンライトディスプレイ19)

図 3.32

Hartmann らの頭部搭載型プロジェクタ20)(d)図 3.33 Inami らによる頭部搭載型プロジェクタ21) 。（左）頭部搭載型プロジェクタの外観。再帰性反射スクリーンと併用して使用する。（右）ユーザー視点の例。再帰性反射スクリーンにのみ映像が見え，それを手で隠すことができている。

(a) 現実世界とバーチャル世界の位置合わせ問題（6DoF-6DoF）(b) 目とディスプレイ映像の位置合わせ問題（3D-2D）
図 4.1

OST-HMD における 2 種類の空間位置合わせ問題

世界座標 xk

H目の中心EHPEH P
E0uk 画像面上の対応座標

SHEP← {uk , xk }N
k=1 , N
図 4.3

OST-HMD の空間校正のモデル化（手動方式）2)6

uk

図 4.4xk

シングルポイントアクティブアライメント法（SPAAM）9)

HHP
E[SH t]z

H
T R
HT t

H P
E0

S

E
TEt

T

E0
以前の眼球位置アイトラ
カメラ ッキング

EE0
E
H P (H P , H t, · · · )(a) 自動方式：recycled setup

S
H

H

HP
E

R S,Ht

HT R
H
T t

S

E

S
S
E R, E t

E
T t

T

H
H
E P (E t, · · · )(b) 自動方式：full setup
図 4.5

OST-HMD の空間校正のモデル化（自動方式）2), 11)

(a)

(c)

(b)

図 4.6

OST-HMD の画像面（光学的には，実際は曲面に分布しているように見える）

EPSON Moverio BT-100(a)(b)(c)(d)

異なる OST-HMD での色再現性の例（画像提供：Langlotz 氏）

図 4.9

(a)
図 4.10Microsoft HoloLens 1

(b)

(c)

不正確な色再現と色補正の例39) 。(a) 原画像，(b) 劣化した表示映像，(c) 補正後の表示映像。コントラストの差異に注目されたい。

図 4.11

全体的な不透明度を変更できるシェード40)

図 4.12色混合問題への対処法42)

abcde

OST-HMD における色混合の例16) 。(a) 背景，(b) 表示画像，(c) 理想

図 4.14的な補正ができた場合の画像，(d) 補正前，(e) 実際に観測された補正後の画像。
（画像提供：Langlotz 氏）

ND フィルタの境界

図 4.16 高ダイナミックレンジの映像表示31) 。視野の中に
左右 2 つのティーポットが表示されている。左側の視野は98% の ND フィルタで減光されており，そのティーポットは実際には右側の 256 倍明るく表示されている。

OLED中間像に対応する瞳
アイトラッキングの光路
コールドミラー
接眼レンズ

チューナブル
リレー群

中間像

Alvarez

レンズ群
射出瞳
ビームスプリッタ
図 4.18 焦点距離を滑らかに調整できる光学系62) 。Alvarez
レンズ群を縦方向にスライドすることにより，焦点距離が調整される。

図 4.20液体レンズを 可変焦点素 子（−5 〜 +20 D）として使用70)

図 4.21

VR モードに切り替え可能なOST-HMD 71)

図 4.22

図 4.23体積型 OST-HMD 72)

大きな視野角と焦点再現能力を両立74), 75)

uv(a)
図 4.24(b)4 次元光線場とライトフィールドディスプレイの光学系例

空間光位相変調器

図 4.25

ホログラフィックディスプレイの原理

図 4.26 Maimone らのホログラフィック OST-HMD 94)

透明ホログラフィックコンバイナ

広い視野角

瞳孔追跡によるライトフィールド生成

アイトラッキングカメラ
焦点手がかりのある虚像

図 4.27

ライトフィールドプロジェクションディスプレイ79)

図 4.29中心窩レンダリングの概念1)

遮蔽マスク(a) 典型的な AR の視界(b) オクルージョンレイヤ

(c) 相互遮蔽

光学遮蔽の例124) 。一般的な AR 映像は背景が透けるが (a)，光学遮蔽マスク

図 4.32を導入し (b)，背景の光を遮蔽することで，AR 映像の現実感が向上する (c)。

カラー LCD

偏光ビームスプリッタ
遮蔽用 LCD

レンズ
プリズム

カメラ

図 4.33ミラー125)
オクルージョン対応 OST-HMD（ELMO-4）

面面膜

網チー

バ

絞ル

ャ

り

面調

変

トイラン
ピ焦点調

変面

図 4.34 ピンライトディスプレイの原理80) 。図の変調面にマスク画像を表示することでソフトシャドウも実現できる。ただし，映像を表示する際に背景光も一部透過させてしまうため，コントラスト比は下がる。

HMD の入力

ユーザーの視界LCD の入力

図 4.35

図 4.39

ビデオシースルーを併用する伊藤らの手法54)

DMD 自体をディスプレイスクリーンとして使用するシステムの表示例129)

(a) ディスプレイシステム(c) 近距離焦点
図 4.43(b) 可動遮蔽面(d) 遠距離焦点

浜崎と伊藤によるオクルージョンレイヤの可変焦点化124)

xexw
定型の視知覚M（= [R t]）

K

M（= [R t ]）・斜位・斜視

非定型の視知覚＋視知覚補正・矯正

・高精細カメラ・逆関数の畳み込み

xw

・高精細 HMD
・視線推定・瞳孔径計測
図 5.1

図 5.3

Kxb

f

xe xr

xw
非定型の視知覚xr

g・対光反射異常・眼振xbf

・近視 ・不正乱視・遠視 ・単眼複視・乱視g・視覚過敏・鈍麻・感覚統合障害

xwxb・g (f (K M xw ))≈ g (f (KM xw ))= xb となる xw を提示

・定型と等価な視知覚

定型・非定型の視知覚と HMD による補正・矯正

Chroma による色変換の様子10) 。（左）正常色覚の見え方，（中央）2 型 2 色色覚の見え方，（右）Chroma を介した 2 型 2 色色覚の見え方。

図 5.4

ユーザーの色覚に応じて視野の一部の色味を変調するシー
スルー HMD システム，ChromaGlasses 2)(b) 矯正前(a)
図 5.5(c) 矯正後

眼位調整ゴーグルによる斜視・斜位の矯正13)図 5.6 Ong らによる変視症矯正システム14) 。（上）システムの外観。視界中央にアムスラーチャートが表示されている。
（下）さまざまなサイズの暗点の例。

(a) 変調なし(b) 一定の透過率による変調(c) 適応的な透過率による変調(d) (c) に対応する遮蔽マスク

図 5.7

Hu らのスマートサングラスによる視界変調の例17), 18)

図 5.9 望遠コンタクトレンズの光学デザイン25) 。瞳孔の中心付近を通過する直線は等倍（1 倍）の光路を示し，瞳孔の周縁部を通過する折れ線は望遠（2.8 倍）の光路を示す。

1倍

2.8 倍

図 5.10 望遠コンタクトレンズの視界25)。（上）等（下）望遠（2.8 倍）の視界。
倍（1 倍）の視界，

図 5.11

柔軟な再構成が可能な ModulAR システム26) 。（左）広角と望遠のステレオカメラを備えたゴーグルの例，（右上）通常の視界，（右下）望遠の視界。

(a) 前方と後方の視界の混合(b) 周辺領域の後方視野への置換(c) 中心領域への移動物体方向(d) 周辺領域への移動物体方向の可視化

図 5.12の可視化

SpiderVision の可視化手法27)

(a) 視野の拡大(b) 視野の先読み(c) 視線の開散図 5.13 動的視野拡張システム 29) 。(a) 視野を拡大して全体を縮小表示，(b) 首振り方向の視野を先読みして表示，(c) 耳側に少し視野を広げて表示。赤枠は標準の視野範囲。

図 5.14

顔 正面0

◦

0

◦

Owl-Vision の外観30)

首振り回転角 45◦

首振り回転角 90◦

45◦
45◦

90◦
90◦

(a) 通常の見え方
顔 正面0

◦

0

◦

首振り回転角 45◦

首振り回転角 90◦

45◦

90◦

90◦
バーチャル視野角バーチャル180◦ 視野角(b) Owl-Vision の見え方
図 5.15 Owl-Vision のしくみ30) 。(a) 通常の見え方，(b) Owl-Vision の見え方。Owl-Vision では首振り角の 2 倍の方向を見ることができる。

OvrvisionOculus Rift DK2OWLIFT

(a)

(b)
図 5.16 可視波長を拡張する VisMerge システム33) 。(a) ゴーグルの外観。HMD として Oculus Rift DK2，ビデオシースルー用ステレオカメ
ラとして Ovrvision，赤外線カメラとして OWLIFT を使用している。
(b) 可視光と赤外光のさまざまな可視化手法。

(a) ゴーグルの外観(b) 露光時間が長い場合
図 5.17(c) 露光時間が短い場合

動体視力を拡張するゴーグル，Stop Motion Goggle34)

図 5.18 移動体の運動予測結果をリアルタイムに HMD に表示することで，人の予測能力を補助するコンセプト，Laplacian Vision 36) 。
この例では，左上の白いボールが右下に向かって落下しつつあり，将来の落下と跳ね返りの様子が予測されて可視化されている。

図 5.19

Flying Head のコンセプト37) 。UAV が操作者の動作に連動するため，UAV を直感的に操縦できる。

図 5.20 柔軟な視点移動が可能なシステム38) 。（左上）RGB-D カメラを搭載したビデ
オシースルー HMD，（中央上）実物とバーチャルの家具が混在するビデオシースルーの視界，（右上・左下・中央下・右下）3 次元再構築モデルを用いた滑らかな視点移動。
実際に移動することなく，俯瞰視点でレイアウトを確認できる。

図 5.21 SIMVIZ による視覚障害シミュレーションの例3) 。（左上）黄斑変性，（中央上）糖尿病性網膜症，（右上）緑内障，（左下）白内障，（中央下）色盲，（右下）複視。

(a) 透過状態(b) 周辺視野の欠損(c) 中程度の欠損の模擬(d) 重度の欠損の模擬(e) 中心視野の欠損(f) 中程度の欠損の模擬(g) 重度の欠損の模擬

図 5.22 Zhang らによる視覚障害シミュレーションシステム40) 。(a) は透過状態であり，(b) は周辺視野が欠損した場合を再現する HMD の外観である。(c) および (d) はそれぞれ，中程度および重度の周辺視野欠損のユーザー視点の様子である。(e) は中心視野が欠損した場合を再現する HMD の外観であり，(f) および (g) はそれぞれ，中程度および重度の中心視野欠損のユーザー視点の様子である。

図 5.23 実物体ごとの見え方をユーザーが調節することで視覚的ノイズを軽減するシステム，DecluttAR43) 。（左上）通常の見え方，（右上）グレースケール，（左下）透明，（右下）ワイヤフレーム。

5.3 視そうめん

お椀の中の実際の食べ物

白飯(a) 実際の食べ物
図 5.24(b) ユーザー

覚拡張153

ラーメン

ソース焼きそばカレーライス

焼き飯(c) 変換後の食べ物

映像変換による味覚変調システム DeepTaste45)，歩行者区域（中段），交
図 5.25 TransforMR の物体置換の例46) 。閑静な街路（上段）
差点（下段）のそれぞれについて，置換前のシーン中の自動車と人物（最左列）が SF（2列目），ハロウィン（3 列目），動物（最右列）の 3 つのテーマに沿って置換されている。

図 6.7

Haptopus 14) 。赤丸部分が小型の吸引機構になっている。

(b) 顔との接触位置
T2T3T4T1(c) 熱モジュール(a) ThermoVR
図 6.8

ThermoVR 17) のプロトタイプ

皮膚に液体を提示する導管

制御用マイコン
貯水タンク
ポンプ

図 6.9

Chemical Haptics20)

図 6.14弾性表面波（SAW）を用いたウェアラブル
嗅覚ディスプレイ35)

図 6.15Perception-based Shape Display 60)

0.67 倍図 6.19

図 6.17

おばけジュース78)

図 6.18

メタクッキー80)

1.00 倍1.50 倍拡張満腹感システムによる食品のサイズの変化85)