情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-542023/3/1

物理世界における作用と仮想世界における作用の融合と調和柏木 敏朗†1,a)

中小路 久美代†1

概要：DITTO (Digital Instruments and Tangibles Theater Orchestrated) プロジェクトは、物理法則に基づいて構成される物理的な世界と、物理演算に基づきシミュレートされる仮想的な世界との間で起こる相互作用に着目し、それぞれがどのように干渉し合い、ユーザがこれを一貫性のある「現実/reality」として認識できるかについてモデル化と原理の解明に取り組むものである。DITTO プロジェクトでは、体験可能なシンプルなツール群で構成される Exploratorium（エクスプロラトリアム：探索のためのツール群環境）を通して、その具現化を行っている。これまでに計 13 個のツール群のデザインと実装を進めてきた。
本稿では、そのうちの光と色の物理現象を利用する 2 つのツール（DITTO#003 および DITTO#009）をとりあげ、物理的な世界と仮想的な世界との間で起こる干渉の事例を示す。

1. はじめに現状の MR (Mixed-Reality) ・AR (Augmented Reality)

法則を倣って物理現象などがシミュレーションされる世界である。開発者やデザイナーが、恣意的に制御することができる世界である。

技術やサービスの多くは、個別の目的やユーティリティに物理法則に基づいて構成される物理的な世界では、物理特化したものとして実装されている。Milgram ら [1] はこ的なオブジェクトにおけるアクションやはたらきが物理

れらの xR 技術を、物理的な世界と仮想的な世界の間の連的な自然現象として現れることで、ヒトはそれを知覚し物続的な中間領域に位置するものとして捉えているが、実装理的な世界を認知している。それに対して仮想的な世界でされた各 xR システムは、この連続的な位置の中の「1 点」は、仮想的なオブジェクトにおけるアクションやはたらきに存在するものとして位置付けているように思われる。

によって起こる現象を物理演算に基づきシミュレートし、我々は、MR や AR と呼ばれる技術の本質的な価値は、目の前で起きているようにレンダリング出力することで、シースルー型ヘッドマウントディスプレイなどのインタヒトは実体を伴わない仮想的な世界を認知している。ヒトフェースを用いることで、物理的に存在するオブジェクトは、シースルー型ヘッドマウントディスプレイやプロジェや現象と、実体を伴わない表象として表されたオブジェククションマッピングといった技術を介して、それぞれの物トや現象が、あたかも同一空間に存在するように、人が認理的な現象と仮想的な現象が同じ空間内で起きているよう知することができるところにあると考えている。に捉え、いわゆる「現実/reality」として認識していること

DITTO (Digital Instruments and Tangibles Theater Orchestrated) プロジェクトは、物理法則に基づいて構成されになる。

DITTO プロジェクトは、ヒトが認識するこの「現実/re-る物理的な世界と、物理演算に基づきシミュレートされるality」世界において、物理法則に基づく世界（本論では仮想的な世界とが、相互にどのように干渉し合い、ユーザ〈物理法則〉と記す）と、物理演算で構成される世界（本がこれを一貫性のある世界として認識できるかについて、論では〈物理演算〉と記す）との間の相互作用に着目するそのモデル化と原理の解明に取り組むものである。

ものである。我々は、これら 2 つの世界の間の作用の多物理法則に基づく世界は、情報技術を使用せずに認知される「生」の状態で私たちが生きている世界である。ここ

物理法則に基づく現象が仮想世界に作用し，物理演算でシミュレートされた現象が物理世界に作用するで、錯覚といった認知的特性を踏まえると、人の脳は物理世界をそのまま認知しているとは言い難いが、本研究では人の認知特性については単純化して捉えるものとする。

物理的なオブジェクトとのインタラクションa)

現在，公立はこだて未来大学
g3120001@fun.ac.jp© 2023 Information Processing Society of Japan

仮想なオブジェクトとのインタラクション

ユーザ

物理演算で構成される世界、いわゆる仮想世界は、物理†1

物理演算で構成される世界

物理法則に基づく世界

図 1

物理法則に基づく世界と物理演算で構成される世界との間のインタラクション

995

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-54
2023/3/1

様な様態を、体験可能なシンプルなツール群で構成され2 個のツールを用いて、〈物理法則〉から〈物理演算〉へのる Exploratorium（エクスプロラトリアム：探索のためのはたらきかけと、〈物理演算〉から〈物理法則〉へのはたらツール群環境）として具現化するアプローチをとる。これ

きかけを実現するということの、機構的、体験的な意味とまでに、Hololens2 を用いてテーブルトップ上でインタラ課題、さらにはインタラクションデザインにおいてそのあクションできる計 13 個のツール群のデザインと実装を進るべき位置付けを探る。

めている。

以下に、DITTO#003 および#009 のそれぞれについて、本稿では、DITTO の要素として実装したツールの中か〈物理法則〉から〈物理演算〉への作用の実現、物理世界内ら、物理現象として光と色を利用するものを 2 個とりあげ、の構成、仮想世界内の構成、観測される現象、および機構相互の作用を体験可能とするシンプルなツールで具現化すの設計について説明する。

る事例を示す。

2. 関連研究3.1 DITTO#003：〈物理法則〉から〈物理演算〉への作用の実現〈物理法則〉と〈物理演算〉との間で起こる相互作用は、

DITTO#003 は、物理世界における光の色の変化が、仮ヒトが持つ素朴物理学といった素朴理論による物理学的な想的に作り出しているオブジェクトに作用するシステムで認識が、それぞれで起こる事象間の一貫性を担保し、1 つある。物理法則に基づいて生じるアクションやはたらきをの「現実/reality」として認識していると私たちは考えていセンシングし、その作用の結果を物理演算でシミュレートる。素朴物理学とは、ヒトが経験的に理解した物理学的なして、その作用が及んだ形として仮想世界に作り出す。

常識知識であり、重さや速度、光、摩擦などが含まれる。

3.1.1 DITTO#003：物理世界内の構成

苗村らは、懐中電灯型のデバイスを用いて物理的なオブDITTO#003 は、Hololens2 とピコプロジェクタ、カラージェクトの影を〈物理演算〉に、仮想オブジェクトの影をフィルタ、PC、Arduino UNO、赤外線マーカー、フォトリフ〈物理法則〉に投影するシステムを提案している [2]。これ

レクタで構成される (図 2)。ピコプロジェクタと Arduino

は、〈物理法則〉と〈物理演算〉の間の照明による干渉をは PC に直接接続されている。Hololens2 と PC はデータ具現化しているものであると捉えられる。Kobito -Virtual

通信を行うために TCP 通信で接続されている。PC から

Brownies- は、こびとをモチーフにした仮想のキャラクタ

Hololens2 に Arduino でセンシングした結果を送信する。

が物理的な紅茶缶を動かしている様子を具現化しているも手で回すことのできる円形のカラーフィルタ図 3 を、ピのであると捉えられる [3]。「仮想のキャラクタが紅茶缶をコプロジェクタ（PicoCube）から発される光が通過する押すと紅茶缶が動く」「紅茶缶を押すと仮想のキャラクタがようにピコプロジェクタの発光部分の前面に設置した。カ転ぶ」といった物理的な事象を再現している。DOMINO

ラーフィルタは 5 つの円が切り抜かれた円形状のものにカToppling はドミノ倒しを題材とした物理的なオブジェクラーフィルムを張り付けたものである。切り抜かれた部分

トと仮想オブジェクトとの衝突を具現化した MR アトラク

5 つのうちの 4 つには赤色・黄色・青色・緑色の 4 種の色ションである [4]。物理ドミノを機械的に、仮想ドミノを仮のカラーフィルムを張り付け、残りの 1 つは無色（何も張想的にタイミングよく倒すことで〈物理法則〉と〈物理演りつけていない）である。ここでは、白色スライドを投影算〉の遷移を実現している。

することでピコプロジェクタを発光源として利用する。

このように「光と影」「力による物の移動」「物の衝突」のカラーフィルタ部分には、Arduino にフォトリフレクタような物理的な事象を、〈物理法則〉と〈物理演算〉の間で(LBR-127HLD) を 3 つ接続した。この 3 つのフォトリフシームレスに起こっているように見せることで、人はあた

レクタから得られる信号をもとに、ピコプロジェクタの光かも物理的なオブジェクトと仮想オブジェクトが自然に混がどのカラーフィルムの色を透過しているかを識別できる在しているという「現実/reality」を認識する。DITTO は、これらのような〈物理法則〉と〈物理演算〉との間の相互作用を多様な様態で具現化し、MR における「現実/reality」のモデル化や原理について追究していく。

3. 相互の作用を具現化する二つのツール

ピコプロジェクタの光が通過するカラーフィルムの色を識別する

フォトリフレクタ

Arduino UNO

カラーフィルタ

PC

※

データ通信

TCP

物理接続
センシング

※ Arduino でセンシングしたカラーフィルタの色情報を送信するれたアクションやはたらきが物理法則で構成される世界に© 2023 Information Processing Society of Japan②

HDMI 接続USB 接続システム (DITTO#003） と、物理演算でシミュレートさ作用するシステム (DITTO#009）の 2 つである。これら

Hololens2

赤外線マーカー

ピコプロジェクタ

本稿でとりあげるのは、物理法則に基づくアクションやはたらきが物理演算でシミュレートされた世界に作用する赤外線マーカーの位置と姿勢を推定する

図 2

DITTO#003：物理世界内のデバイス構成

996

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-542023/3/1

赤外線マーカー
カラーフィルタ

カラーフィルタ
カラーフィルム ( 赤 )カラーフィルム ( 黄 )カラーフィルム ( 緑 )再帰性反射シールなし

図 3

ピコプロジェクタ

仮想オブジェクト
カラーフィルタによって光の色が変わる

カラーフィルム ( 青 )カラーフィルタを通った光によって仮想オブジェクトがライティングされる

ピコプロジェクタとカラーフィルタ、赤外線マーカーようにした。

図 4

DITTO#003: 物理法則から物理演算への作用によって観測される現象

ピコプロジェクタの位置と姿勢を推定するために、赤外線マーカーをピコプロジェクタの上部に固定した。赤外線
マーカーは図 3 に記しているような形状とし、3D プリンタで印刷し作成した。マーカーを構成する 4 本の先端に取り付けた枝の球面部分には赤外線を再帰的に反射する再帰性

Hololens2

Hololens2

物理世界装着者 /非装着者

ピコプロジェクタの位置と向きを決める

装着者 /
非装着者

カラーフィルタを物理的に回して，カラーフィルムの位置を変える

反射シールを貼りつけており、それ以外の部分には赤外線キングされ、これによりピコプロジェクタの物理的な位置が計測される。

3.1.2 DITTO#003：仮想世界内の構成

図5

仮想世界

光がカラーフィルタを通過することでカラーフィルムの色に光の色が変化する

仮想オブジェクトがカラーフィル
タで色付けされた光によって照らされる

カラーフィルタで色付けされた光が物体やスクリーン，手などに反射する

仮想オブジェクトが光源 ( ピコプロジェクタ ) の画角の中に配置されていれば，仮想オブジェクトは光を反射するが反射しにくくするために黒色のラッカースプレーを吹きかけた。この赤外線マーカーは Hololens2 によってトラッ作用の流れ
ユーザによる操作

白色光が光源 ( ピコプロジェクタ )から発される

Hololens2 装着者
ハンドジェスチャを用いて仮想オブジェクトの位置や回転などを操作する

仮想オブジェクト
が光源 ( ピコプロジェクタ ) の画角の外に配置されていれば，仮想オブジェクトは照らされない

DITTO#003: 物理法則から物理演算への作用とユーザの操作の流れ射する。それに対して仮想世界上では、Hololens2 を装着3D ゲームエンジンである Unity を用いて仮想世界のしているユーザがハンドジェスチャを用いて仮想のキューシーンを作成した。開発には、MR アプリケーションを作

ブ型オブジェクトの位置や回転などを操作する。もしそのるためのオープンソースツールキットである Mixed Real-

仮想オブジェクトがピコプロジェクタの光の範囲内に位置

ity Toolkit (MRTK) を用いている。仮想世界上に仮想のしていれば、カラーフィルタで変えられた光の色で照らさキューブ型のオブジェクトと仮想のスポットライトを配置れる。もしその仮想オブジェクトがピコプロジェクタの光した。仮想のスポットライトの光の範囲をピコプロジェクの範囲外に位置していれば、その仮想オブジェクトは照らタの画角と同じ幅になるように設定した。また Hololens2

されない。

を被っているユーザが仮想のキューブ型オブジェクトをハ

図 6 のように、光の中に仮想オブジェクトがあれば物理ンドジェスチャ (ポインティング/ピンチ) を用いて移動や演算によって仮想オブジェクトにライティング施され、そ回転といった操作を行うことができるようなインタラク

れと同時にユーザの手にも物理法則に基づいたライティンティビティを実装した。

グが起こる。光の外に仮想オブジェクトがあれば物理演算

3.1.3 DITTO#003 において観測される現象によるライティング行われず、ユーザの手にだけ物理法則

図 4 に、DITTO#003 において、〈物理法則〉から〈物に基づいたライティングが起こる。

理演算〉への作用によって観測される現象について説明す3.1.4 DITTO#003: 機構の設計る。ピコプロジェクタから発される光の色がカラーフィル

ユーザが観測した現象を生成するシステムの機構を説明

タによって変化する。赤いカラーフィルムを通れば赤いする。図 7 のように、PC とピコプロジェクタ、Arduino

光となり、青いカラーフィルムを通れば青い光となる。カ

によるストリーム処理と Hololens2 によるストリーム処理

ラーフィルムのない部分を通れば白い光のままとなる。カが行われている。

ラーフィルタを通った光は仮想のキューブ型オブジェクト

PC とピコプロジェクタ、Arduino によるストリーム処に照射され、光のあたる面が、その色に変化した色でライ

理は、まずピコプロジェクタから白色の単色画像を出力すティングされる。

る。次に、Arduino に接続されている 3 つのフォトリフレ

図 5 は、〈物理世界〉と〈仮想世界〉の作用とユーザの操クタを用いて、ピコプロジェクタの光がどの色のカラー作の流れを表している。物理世界上では、ユーザがピコプフィルムを通過したかを識別する。フォトリフレクタによロジェクタの位置と向きを決め、その位置から白色光が発るカラーフィルムの色の識別は、カラーフィルムの裏面にされる。ユーザがカラーフィルタを物理的に回してカラー白の画用紙と黒の画用紙を貼り、3 つの地点の赤外線の反フィルムの位置を変え、光の色を変化させる。その色が変射光の強さを測定することで行う (図 8)。白画用紙と黒化した光は、その先にある物体やスクリーン、手などに反画用紙の赤外線の反射率は異なるため、フォトリフレクタ© 2023 Information Processing Society of Japan997

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-54
2023/3/1

光の方向

光の方向には 4 つの再帰性反射シールが貼られた球があり、それぞれの球と球の距離に類似性がないように球を 3 次元的に配仮想オブジェクト仮想オブジェクト置している。この球と球の距離を特徴として、赤外線マーカーの位置と姿勢の推定を行う。4 つの球の位置を認識す

仮想のライティングるために Hololens2 の前面に搭載されている近距離 ToF セ
実際のライティング

図 6ンサを用いる。近距離 ToF センサからは赤外光の反射の強実際のライティング

赤色の光が仮想オブジェクトに作用している様子。(左) ピコ
プロジェクタの光の範囲内に仮想オブジェクトを配置した場合、(右) ピコプロジェクタの光の範囲外に仮想オブジェクトさ、深度を取得することができる。赤外線マーカーの球面部分には再帰性反射シールが貼られているため、ほかの物体よりも赤外光を強く返す。そのため赤外光の反射の強さを用いてフィルタリングすることで球面部分を検出するこを配置した場合の位置に白画用紙があるか黒画用紙があるかを認識することができる。図 8 の右図の場合、奥のセンサから白/白/黒と識別する。白と黒の並びをピコプロジェクタのレンズの前にあるカラーフィルムの色として変換して識別する。
つまり白/白/黒は緑ということになる。ここで識別されたカラーフィルムの色を Hololens2 によるストリーム処理にTCP 通信で送信する。

外線マーカーの位置と姿勢を推定する。次に、推定された赤外線マーカーの位置と姿勢からピコプロジェクタのレンズの位置と向きを推定する。このピコプロジェクタのレンズの位置と向きを Unity 上 (仮想世界上) の座標系に変換し、その位置と姿勢を仮想のスポットライトに適用する。

PC とピコプロジェクタ、Arduino によるストリーム処理から送られてきたカラーフィルムの色を仮想のスポットラ

Hololens2 によるストリーム処理は、まず赤外線マーカーの位置と姿勢の推定を行う。赤外線マーカーによるトラッキングシステムは、Thomas らによって提案された赤外線カメラを用いたポーズトラッキングシステムを参考に実装を行った [5]。図 3 で示しているように、赤外線マーカー
Hololens2
赤外線マーカーの位置と姿勢を推定するシステムの流れ
データ通信

赤外線マーカーの位置と姿勢からピコプロジェクタのレンズの位置と向きを推定する

PC/ ピコプロジェクタ /Arduino

イトの色に変更する。最後に Unity 上 (仮想世界上) の仮想オブジェクトに対する仮想スポットライトのライティングをレンダリングする。
この 2 つのストリーム処理をリアルタイムで処理を行う。

3.2 DITTO#009：〈物理演算〉から〈物理法則〉への作用の実現

DITTO#009 は、物理演算でシミュレートされる色の変化を生み出す仮想的なカラーフィルタの操作によるはたらきかけの作用を、物理的な世界に配置したプロジェクターの発光によるライティングを用いた物理的な現象として作り出すツールである。

推定された位置と向きを Unity 上の座標系に変換し仮想のライトの位置と向きに適用する

白色画像をピコプロジェクタから出力する
フォトリフレクタを用いてピコプロジェクタの光が通過するカラーフィルムの色を識別するとができる。この検出された 4 つの球面の位置関係から赤TCP

Unity 上の仮想ライトの光の色をセンシングされたカラーフィルタの色に変更する

3.2.1 DITTO#009：物理世界内の構成
本システムは、Hololens2 とピコプロジェクタ、IntelRealSense D435i、PC、赤外線マーカーで構成されている(図 9)。ピコプロジェクタと D435i は PC に直接接続されている。Hololens2 と PC はデータ通信を行うために TCP

Unity 上の仮想オブジェクトに対する仮想ライトのライティングをレンダリングする

図 7

物理法則から物理演算への作用を実現する原理通信で接続されている。Hololens2 から PC に仮想世界上のオブジェクトの位置と姿勢の情報を送信する。
ピコプロジェクタのレンズからの深度情報を得るために、ピコプロジェクタのレンズ上部に D435i を設置した。

フォトリフレクタ識別位置フォトリフレクタ

図 10 のように、D435i の背面にあるネジ穴を用いて、ピコプロジェクタのレンズと D435i のレンズが平行になるように固定した。ピコプロジェクタの位置と姿勢を推定するために、2.1 で説明した DITTO#003 と同様に、赤外線マーカーをピコプロジェクタの上部に固定している。

白画用紙
黒画用紙

図 8

ピコプロジェクタのレンズ位置

フォトリフレクタによるカラーフィルムの色の識別© 2023 Information Processing Society of Japan

3.2.2 DITTO#009：仮想世界内の構成
前節で説明した DITTO#003 と同様に、3D ゲームエンジンである Unity と MRTK 用いて仮想世界のシーンを作成している。DITTO#009 では、仮想世界上に、仮想の平998

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-54
2023/3/1

赤外線マーカーの位置と姿勢を推定する

赤外線マーカーIntel RealSense D435i

赤→赤Hololens2物理オブジェクト

ピコプロジェクタ
USB 接続赤 + 緑→黄白

ピコプロジェクタ

赤 + 緑 + 青→白HDMI 接続PC

緑 + 青→水TCP
緑→緑※ 仮想世界上のオブジェクトの位置と姿勢の情報を送信する

図 9

青→青

DITTO#009 における物理世界内のデバイス構成
赤 + 青→紫仮想カラーフィルタ ( 赤 )赤外線マーカー

仮想カラーフィルタ ( 緑 )仮想カラーフィルタ ( 青 )Intel RealSense D435i

図 12

仮想カラーフィルタと物理オブジェクトの位置関係によって変化する現象

側面

後面

Hololens2

物理世界

装着者 /
非装着者

ピコプロジェクタの位置と向きを決める

ユーザによる操作

白色光が物体やスクリーン，手などに写る

図 10

ピコプロジェクタと D435i、赤外線マーカー
Intel RealSense D435i

仮想カラーフィルタ

ピコプロジェクタ

作用の流れ

白色光が光源 ( ピコプロジェクタ )から発される

仮想世界
仮想カラーフィルタを通過するとその仮想カラーフィルタの色が光に加算される

Hololens2 装着者
ハンドジェスチャを用いて仮想カラーフィル
タの位置や回転などを操作する

仮想カラーフィルタで色付けされた光が物体やスクリーン，手などに写る

図 13

DITTO#009: 物理演算から物理法則への作用とユーザの操作の流れ物理オブジェクトされる。仮想カラーフィルムより手前に物理オブジェクトがある場合は、その物理オブジェクトには白い光が投影さ仮想カラーフィルタによって光の色が変わる

仮想カラーフィルタを通った光によって物理オブジェクトがライティングされる

図 11

DITTO#009: 物理演算から物理法則への作用によって観測される現象れる (図 12)。さらに、光が複数枚の仮想カラーフィルタを通れば、光の色はそれぞれの仮想カラーフィルタの色が加算された色になる。例えば赤い仮想カラーフィルタと青い仮想カラーフィルタを通った場合、赤と青が加算された紫色の光が物理オブジェクトに投影される。
図 13 に、物理世界と仮想世界の作用とユーザの操作の流面型のオブジェクトを仮想カラーフィルタとして 3 つ配置れを示す。物理世界上では、ユーザがピコプロジェクタのした。いずれも半透明で、それぞれ赤色/緑色/青色である。

位置と向きを決め、その位置から白色光がピコプロジェク

このシーンを PC と Hololens2 でそれぞれで起動し、3 つタから発される。その白色光は図 12 のような仮想カラーの仮想カラーフィルタの位置と姿勢を同期する。PC 上のフィルタによる作用により、色が変化する。ユーザによるシーンには仮想のカメラを配置し、Hololens2 で認識され物理オブジェクトの位置の変更と Hololens2 を装着しているピコプロジェクタの位置と向きと同期させる。仮想カメ

るユーザによる仮想カラーフィルタの位置や姿勢の変更にラの FoV をピコプロジェクタの画角と一致するように設より、仮想カラーフィルタと物理オブジェクトの位置関係定する。

が変わる。この位置関係の変化により、物理オブジェクト3.2.3 DITTO#009 において観測される現象に映る光の色が動的に変化する。

〈物理演算〉から〈物理法則〉への作用によって観測さ

図 14 は仮想カラーフィルタによって変化した光の色をれる現象について説明する (図 11)。DITTO#009 では、手に映している様子である。手をピコプロジェクタに対しピコプロジェクタから発される光の色が、仮想カラーフィて仮想カラーフィルタより遠くに配置すると、赤い光が手ルタの位置によって変化する。赤い仮想カラーフィルムをに映し出される。仮想カラーフィルタよりも手前（ピコプ通れば赤い光、青い仮想カラーフィルムを通れば青い光とロジェクタとの間）に手を置くと、白い光が手に映し出さなり、その先にある物理オブジェクトに変化した光が投影れる。

© 2023 Information Processing Society of Japan999

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3C-54
2023/3/1

光の方向

光の方向ようにアライメントした画像に変換する。次に、Hololens2によるストリーム処理から送られてきた仮想カラーフィル

仮想カラーフィルタ

仮想カラーフィルタ

タのピコプロジェクタのレンズに対する相対位置と姿勢を基に、Unity を用いてピコプロジェクタのレンズからみた仮想カラーフィルタそれぞれの深度画像を生成する。D435i
によって生成された深度画像と Unity 上で生成された 3 つ

図 14

赤い仮想カラーフィルタによって光の色に作用を及ぼしていの深度画像から仮想カラーフィルタの作用を適用したカる様子。(左) ピコプロジェクタの光が仮想カラーフィルタをラー画像を生成する。生成する方法として、深度画像にお通り物理オブジェクトに到達した場合、(右) ピコプロジェク

けるピクセル座標 (u,v) の深度を比較する。もし D435i がタの光が仮想カラーフィルタを通る前に物理オブジェクトに計測した深度が最も小さい場合、白色とする。Unity 上で到達した場合計算された仮想カラーフィルタまでの深度が D435i が計測した深度よりも小さい場合、その仮想のカラーフィルタのHololens2システムの流れデータ通信

PC/ ピコプロジェクタ /D435i
D435i を用いて深度画像を生成する

ピコプロジェクタのレンズの光軸と一致するように深度画像をアライメントする

Unity 上でピコプロジェクタのレンズから見た仮想カラーフィルタそれぞれの深度画像を生成する

色を黒色に加算した色とする。この生成されたカラー画像

赤外線マーカーの位置と姿勢を推定するをピコプロジェクタで出力する。

赤外線マーカーの位置と姿勢からピコプロジェクタのレンズの位置と向きを推定する

4. まとめこの 2 つのストリーム処理をリアルタイムで処理を行う。

〈 物 理 法 則 〉か ら〈 物 理 演 算 〉へ の 作 用 の 実 現 す る
TCP推定されたピコプロジェクタのレンズの位置と向きに対する 3 つの仮想カラーフィルタの相対的な位置と姿勢を計算する

DITTO#003 と〈物理演算〉から〈物理法則〉への作用の実現する DITTO#009 について説明した。DITTO#003
は物理的な自然現象によって光の色を変え、その結果を仮想世界上のライティングに作用させた。DITTO#009 は仮想的な現象として光の色を変化させ、その結果を物理世界上の表出させた。物理的な世界と仮想的な世界との間で起※D435i によって生成された深度画像と Unity 上で生成した 3 つの深度画像から仮想カラーフィルタの作用を適用したカラー画像を生成する
生成したカラー画像をピコプロジェクタで出力する

図 15

DITTO#009: 〈物理演算〉から〈物理法則〉への作用を実こる干渉を具体的に体験可能とする事例となった。
謝辞

参考文献
[1]

現する原理

[2]

3.2.4 DITTO#009：機構の設計
ユーザが観測した現象を生成するシステムの機構を説明する。DITTO#009 では、PC とピコプロジェクタ、D435i[3]によるストリーム処理と Hololens2 によるストリーム処理を行っている（図 15）。

Hololens2 によるストリーム処理は、まず赤外線マーカーの位置と姿勢の推定を行う。推定された赤外線マーカーの[4]位置と姿勢からピコプロジェクタのレンズの位置と向きを推定する。推定されたピコプロジェクタのレンズの位置と向きに対する 3 つの仮想カラーフィルタの相対的な位置と姿勢を計算する。この相対的な位置と姿勢を TCP 通信でPC とピコプロジェクタ、D435i によるストリーム処理に送信する。

本研究の一部は、文部科学省科研費 (20H05962)の支援を受けています。

[5]

Milgram, P. and Kishino, F.: A Taxonomy of Mixed Reality Visual Display, IEICE Trans. Information Systems,Vol.E77-D, No.12, pp.1321-1329 (1994)
Naemura, T., Nitta, T., Mimura, A. and Harashima, H.:
Virtual Shadows in Mixed Reality Environment Using
Flashlight-like Devices, Transactions of the Virtual Reality Society of Japans, Vol.7, No.2, pp.227-238 (2002)
青木 孝文，三武 裕玄，浅野 一行，栗山 貴嗣，遠山 喬，長谷川 晶一，佐藤 誠：実世界で存在感を持つバーチャルク
リーチャの実現 : Kobito -Virtual Brownies-，日本バーチャルリアリティ学会論文誌，Vol.11，No.2，pp.313-322(2006)
平田 遼太郎，石橋 朋果，チェ カネイ，森 尚平，池田 聖，
柴田 史久，木村 朝子，田村 秀行：DOMINO Toppling:
実物体と仮想物体のシームレスな遷移を可能にした MR
アトラクション，日本バーチャルリアリティ学会論文誌，
21 巻，3 号，pp.463-472，2016
Pintaric, T. and Kaufmann, H.: Aﬀordable InfraredOptical Pose-Tracking for Virtual and Augmented Reality, IEEE VR Workshop on Trands and Issues in Tracking for Virtual Environments (2007)

PC とピコプロジェクタ、D435i によるストリーム処理
は、まず D435i を用いて深度画像を生成する。この取得した深度画像をピコプロジェクタのレンズの光軸と一致する© 2023 Information Processing Society of Japan1000