情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23009
2023/3/1

立体的プロジェクションマッピングとインタラクション
による遠方現実空間との接点が感じられる
オンラインお絵描きコンテンツの開発
安 素羅1,a)

水野 慎士1,b)

概要：本研究ではオンラインユーザが手描きキャラクタを介して遠方の現実空間との接点を持つことができる新しいインタラクティブコンテンツの開発を行った．このコンテンツは Web ページ上で描いたキャラクタが遠方の現実空間に投影される共創型プロジェクションマッピングであり，オンラインユーザは投影された映像をライブ配信で観察する．このとき，映像は立体的かつ現実空間の物体とのオクルージョン
を正しく保って投影されるため，描いたキャラクタが遠方の現実空間に登場したように観察される．そして，オンラインユーザは身体動作やボタン操作によって遠方に投影された自分のキャラクタとのインタラ
クションが可能である．また，現実空間の人は投影されたキャラクタたちとのインタラクションも可能であり，オンラインユーザはその様子をライブ配信で観察することができる．実験では様々な場所から参加したユーザがコンテンツを楽しめる可能性があることを確認した．

1. はじめには，紙への塗り絵を行いながら CG の海の生物を作り上げていき，みんなでバーチャル水族館を充実させていく．

みんなと一緒に紙に絵を描きながら，CG などのデジタ「デジタル紙相撲」は，お絵描きから作られた CG 力士がル体験ができるコンテンツはとても人気がある．例えば，

バーチャル土俵に集合して，参加者みんなで飛び跳ねながチームラボの「お絵描き水族館」[3]，リトルプラネットのら CG 力士を集団対戦させる．そして，著者らが開発した「デジタル紙相撲」[4] などがお絵描きに基づくデジタルコ「お絵描きダンスステージ」では，お絵描きで作り上げたンテンツとしてよく知られている．そして，著者たちもこ

CG キャラクタにユーザ自身の動きで振り付けを行い，三れまで，「不思議なスケッチブック」[5][6]，「お絵描きダンス

次元 CG のバーチャルダンスステージに登場させて，多くステージ」[7]，「お絵描き i-Can/Toyota City Connection」のキャラクタを集団でダンスをさせる．

[8] などのお絵描きベースの CG コンテンツを開発して，様々なイベントで活用してきた．

このようなお絵描きベースの CG コンテンツにおいて，
紙とペンを用いたお絵描きはパソコンやタブレットに置“みんなでの紙へのお絵描き” と “CG” を組み合わせた

き換えることで容易にデジタル化することができる．そしコンテンツの人気はいくつかの理由が考えられる．まず，て，これを Web アプリ化すれば，ユーザはそれぞれ別の場

お絵描きは最も身近な創作活動であり，特に子供を中心と所でお絵描きして，それぞれの場所で CG 化されたお絵描

してお絵描きが好きな人が多いことがシンプルな理由であきを鑑賞するというオンライン化が可能である．しかし，る．そして，紙へのお絵描きという現実空間での親しみのコンテンツが持っていた紙へのお絵描きという現実空間

ある創作活動によって，CG という”バーチャルとの接点”の操作がデジタル化されるため，コンテンツがデジタル/が持てることが大きな魅力となる．また，現実空間でみん

バーチャルで完結してしまい，これまで存在していた現実

なで集まって，一人ずつお絵描きをしながらで CG 映像をとバーチャルとの接点がなくなる．また，一人でモニタ内作り上げてみんなで見るという共創の観点も挙げられる．

のイラストを眺めるだけでは共創も感じにくくなってしま

前述したコンテンツはいずれも，“現実とバーチャルとう可能性が高い．つまり，お絵描きベースの CG コンテンの接点” と “共創” の要素を備えている．「お絵描き水族館」

ツが人々を惹きつけてきた 2 つの主要な要素がなくなるこ

1
a)
b)

愛知工業大学大学院 経営情報科学研究科
b21704bb@aitech.ac.jp
s mizuno@aitech.ac.jp© 2023 Information Processing Society of Japanとになる．
筆者らは，デジタル化/オンライン化したお絵描きベー

70

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

スの CG コンテンツが人を惹きつけるには，お絵描きのデジタル化で失われた現実とバーチャルとの接点を別の部分

INT23009
2023/3/1

3. 提案手法の概要

で作り出すことが有効だと考えた．そこで本研究では，生

本研究では，バーチャル/デジタルで完結しがちなオン成された CG 映像を提示する部分に着目する．具体的にラインお絵描きコンテンツに対して，立体的なプロジェク

は，現実とバーチャルとの接点を感じられる映像提示手法

ションマッピングとインタラクションを適用することで，として，実物体との正しいオクルージョンを保持した立体オンラインユーザに遠方の現実/アナログと接点や共創感的なプロジェクションマッピングを用いる．また，この映を感じさせる手法を提案する．そして，提案手法を用いた像提示手法でオンライン上のユーザが同じ現実空間に対しオンライン版「お絵描きダンスステージ」を開発して提案て身体動作を含む様々な方法でインタラクションを行うこ手法を検証する．

とで，共創の感覚も得られることを目指す．
本研究では，筆者らが開発した「お絵描きダンスステー

従来の「お絵描きダンスステージ」は，紙にペンでキャラクタを描いてカメラの前に差し出すとキャラクタが CG 化ジ」のオンライン化に際して提案手法を適用する．そして，して，次々と三次元 CG 空間のダンスステージに登場してシステムの実装と実験を行い，提案手法の有用性を検証す

踊り出すコンテンツである．キャラクタの動きはユーザ自る [1][2]．遠方のオンライン映像とのインタラクション方

身のダンスで付けることも可能である．そして，CG キャ

法としては，Web アプリでのボタン操作に加えて，身体動ラクタがダンスステージで踊る三次元 CG 映像がディスプ作によるインタラクションも可能にする．

レイに表示されて，ユーザはそれを鑑賞して楽しむ．

2. 関連研究

オンライン版「お絵描きダンスステージ」では，紙へのペンでのお絵描きは Web アプリ化されて PC やタブレッ

本研究とは異なる方法で現実/アナログとバーチャル/デトでのデジタルお絵描きとなる．つまり，現実でのお絵描

ジタルとの接点を生み出す取り組みをいくつか紹介する．

きはバーチャルでのお絵描きに置き換えられる．その代わNTT は遠方の実空間の臨場感を徹底的に再現するライ

りに，CG 化されたキャラクタの映像提示について，バー

ブエンターテインメント技術「Kirari!」を開発している [9]．

チャル/デジタルで完結していた通常のディスプレイ表示

ここでは，遠方の実空間にいる人の映像や音声を切り出し，から，現実/アナログとの接点があるプロジェクションマッ

周囲物体の位置関係や音声方向などの三次元情報，照明なピングに置き換える．

どの環境情報と共に同期しながら転送して，それらを用い

本研究のプロジェクションマッピングは一般的な映像投て視野角 180 度の高精細映像としてリアルタイムで生成す影方法ではなく，トリックアートの原理によって映像が立る．なお，インタラクションは考慮していない．大阪芸術

体的に観察できる投影手法を用いる．また，キャラクタが大学と NAKED はスマートフォンの光で大きなオブジェ

現実空間の人や物体の後ろに隠れるなど，現実空間の実物クトにインタラクティブに映像を表示させるコンテンツ体との正しいオクルージョンを保持する．そして，トリッ「Prism Garden」を制作している [10]．この作品はオンラ

クアートに対応した位置にカメラを設置して，投影された

インには対応しておらず，表示される映像は事前に制作さ様子をライブ配信する．これにより，オンラインユーザはれたものから選択される．小田島らはタブレットでのお絵

自分が描いたキャラクタが遠方の現実空間に立体的に現描きによって博物館展示物にインタラクティブにプロジェ

れて踊り出す様子を視聴することができる．これにより，クションマッピングを行うコンテンツを提案している [11]．

ユーザはお絵描きを通じて遠方の現実空間との接点を感じこの研究では，提案コンテンツによって展示物と鑑賞者とることが期待される．

の新たな関係性の構築を狙っている．なお，このコンテン

オンラインユーザは，遠方の現実空間に立体的に投影さツもオンラインには対応していない．anno lab は大分県れた自分の描いたキャラクタとのインタラクションを行うの「不均質な自然と人の美術館」内に太陽光とのインタラことができる．具体的には，ユーザ自身の身体動作によっクションを実現するメディアアート「太陽と月の部屋」をてキャラクタを自分と同じように動作させたり移動させた

展示している [12]．このアートはデジタル技術を用いながりすることができる．また，Web アプリのボタン操作にら，太陽の位置や現在の天候といった究極のリアル/アナ

よってもキャラクタを動作させることができる．さらに，

ログ空間とのインタラクションを実現している．

自分の描いたキャラクタが遠方の現実空間の人と同じ動作

これらの既存研究に対して，本研究では筆者らの「お絵やジャンプなどのインタラクションを行う様子も観察する

描きダンスステージ」を対象として立体的なプロジェク

ことができる．これらにより，視覚だけでなくインタラク

ションマッピングとインタラクションを組み合わせた映像

ションによって CG キャラクタが現実空間に存在している

配信によって，オンラインユーザが遠方の現実空間との接感覚を高める．

点を感じて，それを介してオンラインユーザ同士の共創も感じさせることを目指している．

© 2023 Information Processing Society of Japan

なお，人が現実空間の投影領域に入ったとき，オンライ
ンユーザからはその人が CG キャラクタと共存しているよ71情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23009
2023/3/1

ユーザ
カメラ
お絵描きダンスステージ
Web アプリ（PC/ タブレット）

モニタ

お絵描きデータ
操作データ

ユーザ
ライブ映像

お絵描きダンスステージ
サーバ・映像生成システム

ユーザ
インターネット
カメラ
プロジェクタ
ユーザ

ユーザ

投影映像

図 1 システム構成

うに見えるが，本人から見た投影映像は歪んでいる．そのため，投影領域から配信映像が視聴できるモニタなどを設

データをインターネット経由でサーバに送信する．

Web サーバがキャラクタ画像を受信すると，映像生成シ置する必要がある．また，人が入れる投影サイズであればステムがキャラクタを CG モデル化して，ダンスステージ

トリックアートの原理で立体的に観察できる領域は少なくで踊る CG キャラクタの映像を立体的投影を考慮しながらとも 4,5 人が同時に見られる広さとなる．そのため，配信生成してプロジェクタで投影する．その際，投影領域の状

カメラ位置付近に近付けば，通りすがりの人でも立体的な態を三次元カメラで撮影して，現実空間の物体との正しい

CG キャラクタ映像と人の共存を直接楽しむことができる．

オクルージョンやインタラクションに用いる．オンライン

これは専用デバイスを用いた MR コンテンツでは困難で，や現地でのインタラクション操作に対しては，リアルタイ

プロジェクションマッピングならではの特徴と言える．

ムで CG キャラクタを反応させて映像に反映させる．

お絵描きと映像の視聴は Web 経由で行うため，オンラ

映像が投影された様子はカメラで撮影しており，Zoom

イン版「お絵描きダンスステージ」はインターネットが繋や YouTube Live のライブ映像としてユーザに配信する．

がればどこからでも体験することができる．そして，様々

そのため，ユーザは自分が描いたキャラクタや他のオンラな場所のユーザがそれぞれキャラクタを描くことで，現実インユーザが描いたキャラクタが現実空間に登場したり，空間に登場するキャラクタも増えていく．各ユーザは自分自身の動作や現地の人の動作にインタラクティブに反応すの描いたキャラクタが他の人が描いたキャラクタと現実空る様子を鑑賞することができる．

間で共演する様子を視聴することができるため，他の人たちとのコンテンツの共創も感じられることが期待される．

4. オンライン版「お絵描きダンスステージ」の実現手法
4.1 システム構成

4.2 Web アプリ
4.2.1 インタフェース
ユーザが操作してお絵描きやインタラクション操作を行う Web アプリを図 2 に示す．Web アプリは，絵を描くためのキャンバス，ペンの色と太さを変更するパレット，絵図 1 に本研究で提案するオンライン版「お絵描きダンスの確認と転送のためのボタン，キャラクタとのインタラク

ステージ」のシステム構成を示す．システムは大きく分けション用のボタンで構成されている．ボタンでのインタて，ユーザがキャラクタの描画操作やインタラクションをラクションの種類はジャンプ，スピン，ライトアップであ行う Web アプリと，Web サーバ・映像生成システムで構る．また，ユーザの身体動作によるインタラクションを行成されている．また，映像が投影された様子を配信するた

う場合はカメラも用いる．Web アプリは HTML，PHP，めのライブ映像サービスを併用する．

JavaScript で実装している．

Web アプリはユーザの描画操作を受け付けるインタ

Web アプリはプロジェクションマッピング映像を視聴

フェースを持つ．また，カメラやボタンによってユーザのするためのライブ映像配信システムと併用する．映像がインタラクション操作も受け付ける．そして，描画された

YouTube Live で配信される場合は Web アプリにライブ映キャラクタの画像データやインタラクションのための操作

像が埋め込まれて，Zoom の場合には別途稼働させる．

© 2023 Information Processing Society of Japan72

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23009
2023/3/1

図 2 「お絵描きダンスステージ」用 Web アプリの画面

図 3 手描きキャラクタの分割とボーン挿入の様子

オンラインユーザは初めにキャンバスでキャラクタを描

ステムは Web アプリからサーバに送られてきたキャラク

いて送信する．そして，ライブ映像中に自分が描いたキャタの画像を頭，胴，左右上腕，左右前腕，左右大腿，左右ラクタが登場したら，身体動作やボタン操作でキャラクタ

下腿の 10 個のパーツに分割してボーンを挿入する（図 3）．

とのインタラクションを行う．身体動作によるインタラク

これらの処理は初めにシステムが自動で行った後に手動でション用のカメラはユーザが自由にオンオフすることが可調整する．パーツ分割とボーン挿入により，手足を動かす

能で，好きな操作方法を選べるようになっている．

ことができる二次元的な CG キャラクタが生成される．シ

4.2.2 画像データおよびインタラクションデータの送信

ステムは 15 箇所の関節点に基づく 10 秒のダンスモーショ

ユーザが描いたキャラクタは PNG 形式の画像としてンデータを事前に取得して保持しており，CG キャラクタ

サーバに送信する．ボタンによるジャンプやスピンのインにはモーションデータの 1 つがランダムで付与される．

タラクション操作はテキストデータとして送信する．Web

モーションが付与された CG キャラクタは，生成される

アプリへのアクセスはセッションで管理しており，キャラ

たびに三次元 CG で構成されたダンスステージ内に配置さクタ画像やインタラクション用のテキストデータには各れる．そのため，オンラインユーザがキャラクタを描いてユーザのセッション ID を付与する．
カメラでユーザを撮影することで，Web アプリはユーザ

送信する度にダンスステージ上の CG キャラクタの数は増えていく．各 CG キャラクタにはそれを描いたユーザのの関節点を二次元的にリアルタイムで取得することができセッション ID が付与される．

る．実装には Media Pipe を用いており，頭，肩，手，腰，4.3.2 インタラクション

膝，足など 15 箇所の関節座標を取得する．Media Pipe は4.2.2 節で述べたように，Web アプリから送られるユー

映像中にユーザの上半身だけが写っていても全身の関節

ザのインタラクション操作データにもセッション ID が付座標を返すが，その座標値は不正なことが多い．そこで，与されている．そのため，各ユーザが操作を行うと，ダン少なくとも上半身は写っていることを前提として，人の肩スステージに配置されている CG キャラクタのうち，同じ幅が身長の約 23%であるという統計調査 [13] に基づいて，

セッション ID を持つものだけが反応する．ジャンプやスMedia Pipe で取得した両肩の座標値からユーザの身長をピンの操作データを受信した場合は該当するキャラクタを推定する．そして，取得した頭の座標値と両足の座標値にジャンプさせたり回転させる．ライトアップ操作データを基づくユーザの身長測定値と，計算で求めた身長推定値を受信した場合は該当キャラクタ上方にスポットライト光源

比較することで，両足の座標値が不正でないかを判定して，を設置する．これにより，各ユーザが自分の絵から生成さカメラ中のユーザが全身か上半身だけかを判断する．上半れた CG キャラクタとインタラクションすることを実現し身だけが写っている場合には，ユーザは直立しているとしている．

て下半身の関節座標を自動生成する．15 箇所の関節点座標

Web アプリからからユーザの関節座標データが送られはセッション ID を付与した上で，テキストデータとしてた場合には，データと同じセッション ID を持つキャラク

逐次サーバに送信する．

タについて，事前に付与したモーションデータを間接座標
データに基づくポーズに入れ替える．関節座標データはリ

4.3 Web サーバ・映像生成システム

アルタイムで逐次送信されるため，データをキャラクタに

4.3.1 手描きキャラクタの CG 化と配置連続的に適用することで，ユーザが描いたキャラクタがキャラクタの CG 化手法やモーション適用手法は，従来ユーザと同じ動作をすることになる．なお，システムは両の「お絵描きダンスステージ」と同じである．映像生成シ

手を同じ方向に伸ばすといった特定のジェスチャを判定し© 2023 Information Processing Society of Japan73

情報処理学会 インタラクション 2023
IPSJ Interaction 2023(a) アナモルフォーシスを考慮し(b) 投影映像をプロジェクタ位置

た歪んだ投影映像

から観察した様子

図 4

INT23009
2023/3/1

図 5 オクルージョン矛盾発生の様子

アナモルフォーシスによる立体的な投影映像の生成例ており，ジェスチャによってキャラクタをダンスステージ
内で移動させることができる．

4.3.3 立体的に観察される投影映像の生成
本研究では立体的な投影映像のためにアナモルフォーシ
スの原理を用いる．アナモルフォーシスはトリックアートの手法の一つで，正面からは歪んで見える映像が，ある特定の位置から眺めたときには正しく観察されて，周囲の実物体との関係から立体的に観察されるものである．
投影映像にアナモルフォーシスの効果を与える手法は文(a) 実物体の CG モデルの深度(b) 実物体に隠れるべき CG キャ

情報を表示用の CG 空間に配置

ラクタを削除して投影した様子

した様子
図 6

オクルージョン矛盾を解消した映像投影例

献 [14] と同様である．まず，プロジェクタの設置状況（設置位置，投影方向，投影領域との関係）と，プロジェクタ

そこで，本研究では三次元 CG の隠面消去処理の技術をの投影特性（画角，光軸）を事前に測定する．そして，プ用いて投影映像と実物体との正しいオクルージョンを実現

ロジェクタの設置状況に合わせて視点位置，視線方向，CGする．まず，現実空間に固定された実物体を事前に CG 物

キャラクタの配置といった視野変換とモデリング変換を設体としてモデリングしておき，表示用の CG 空間に深度情定するとともに，プロジェクタの投影特性に合わせて投影

報のみを配置する．それにより，CG キャラクタ映像の中変換を設定する．この設定で生成された三次元 CG 映像をで，現実空間の実物体の後ろに隠れるべき領域は映像から対象のプロジェクタで投影すると，プロジェクタ位置から削除されるため，その映像を映像しても CG キャラクタと見たときに映像が立体的に観察されるアナモルフォーシス

実物体との正しいオクルージョンが保持されることになる．

映像となる．そのため，配信用カメラをプロジェクタ付近

加えて，移動する実物体に対応するため，現実空間に三に設置すれば，ライブ映像では CG キャラクタなどの CG

次元カメラである Kinect を設置する．そして，投影領域内

物体が現実空間に立体的に現れたように観察される．

の実物体のスキャンとモデリングをリアルタイムで行い，

図 4 に本研究での立体的な映像の投影例を示す．アナモ

固定実物体の CG モデルの場合と同様に表示用の CG 空間

ルフォーシスの効果を考慮した歪んだ投影映像が，プロに深度情報を配置する．これにより，人などが投影領域にジェクタ位置からは立体的に観察されていることがわかる．

入り込んだ場合でも，CG キャラクタと人との間で正しい

4.3.4 オクルージョン矛盾の解消

オクルージョンが保持される．

4.3.3 節の手法により，投影される CG キャラクタはア

図 6 にオクルージョン矛盾を解消した映像投影例を示

ナモルフォーシスの原理で立体的な位置や形状を持ち，現す．提案手法によって，実物体に隠れるべき CG キャラク

実空間に存在するように観察される．そのため，CG キャ

タが投影映像から削除されて，投影結果ではオクルージョ

ラクタの位置によっては実物体の後ろに隠れるべき場合もン矛盾が発生していないことがわかる．

ある．しかし，プロジェクタは見える投影範囲内のすべて

4.3.5 現実空間でのインタラクションに映像を投影するため，CG キャラクタを隠すべき実物体

オクルージョン矛盾解消のために用いた Kinect は，人にも映像が投影されてしまい，オクルージョンの矛盾が発のマーカレスモーションキャプチャにも用いる．Kinect に生する場合がある．図 5 の例では，人の背後に隠れるべき

よって現実空間の投影領域にいる人の関節を取得し，そのキャラクタが人の体に投影されており，オクルージョン矛

モーションを CG キャラクタに反映させることで，人と盾が発生している．オクルージョン矛盾は CG 物体が現実

CG キャラクタを同じように動作させる．また．人の腰関空間に存在するような観察感覚を低下させてしまう．

節の上下動によってジャンプを感知し，キャラクタも同時© 2023 Information Processing Society of Japan74

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23009
2023/3/1にジャンプさせる．このように，CG キャラクタたちは現
実空間の人とのインタラクションも行う．オンラインユー

プロジェクタ45°

ザは自分の描いたキャラクタが遠方の現実空間にいる人とインタラクションしている様子を観察することで，遠方の

投影領域

5.2m

現実空間との接点をより強く感じることが期待できる．
5.2m

5. 実験

5.6m

5.1 イベントでの実証実験
5.1.1 概要

7.5m

2021 年 7 月 30 日と 8 月 7 日に，イギリス・ロンドンで開催された日本文化紹介イベント「HYPER JAPAN 2021」にオンライン版「お絵描きダンスステージ」をオンライン
出展して実証実験を行った．また，2021 年 8 月 18 日にも

図 7 イベント実証実験での機材配置の様子

ロンドンのユーザ向けに追加の実証実験を行った．
なお，イベントの趣旨を考慮して「お絵描きダンスス

YouTube Live のコメント欄では，「自分のキャラクタがテージ」には盆踊りをイメージしたアレンジを施した．具出ている」「キャラクタたちが人と一緒に踊っている」と体的には，現実空間に盆踊りの舞台を模した台を設置し言ったコメントが見受けられた．また，一つのキャラクタて，オンラインユーザが作成した CG キャラクタは音頭風がジャンプやスピンをすると，しばらくして他のキャラクの BGM の中で台の周囲を回りながら回りながら踊る．なタも呼応したようにジャンプやスピンをする様子が見られ

お，オンラインユーザによるインタラクションはボタン操

た．そのことから，イギリスの参加者たちは Web でのお作でのジャンプ，スピンのみで，身体動作によるインタラ

絵描きを楽しみながら，遥か遠方の日本の現実空間との接クションは行っていない．

点をある程度感じられたり，他のユーザの操作を真似て自5.1.2 実験条件

分もキャラクタを操作するといった共創の感覚も得られた

機材配置の様子を図 7 に示す．使用したプロジェクタはのではないかと推測される．

明るさが 5,500lm，画像サイズが 1920×1200 画素で，床面Web からのジャンプ操作やスピン操作に対するキャラ

から約 5.2m の高さから約 45 度の角度で投影した．投影映

クタの反応は，ネットワークトラフィックの状況によって像は上底約 7.5m，下底約 5.2m，高さ約 5.6m の台形で映稀に遅延が発生した以外はリアルタイムで行われた．ただし出された．投影する床面にはシーツを敷き詰めておき，し，ライブ配信映像については，YouTube Live のライブ

大きく白いスクリーンの代わりとした．

配信では 10 秒程度の遅延が見られた．CG キャラクタがWeb サーバおよび映像生成システムは Mac Pro（3.2GHz

連続的にジャンプしたりスピンしたりする様子が何度も見Intel Xeon W，AMD Radeon Pro Vega II）上に実装した．

られたが，オンラインの参加者がジャンプ操作やスピン操Web サーバは MAMP を用いて構築しており，映像生成シ

作をしても映像上ではすぐに反映されないため，連続的にステムは C++で OpenGL，OpenCV，OpenNI 等のライ操作を行っていたと思われる．

ブラリを用いて実装した．

イベントでは主催者の YouTube アカウントから映像をライブ配信は，7 月 30 日はストリーミング配信ソフトで配信する都合上，ストリーミング配信ソフトを使用する必ある OBS Studio を用いた YouTube Live 配信，8 月 7 日

要があったため，OBS Studio を用いた．YouTube Live のは YouTube Live に加えて Zoom を用いた配信も行った．

映像遅延発生の大きな原因の一つは，ストリーミング配信

また，8 月 18 日はストリーミング配信ソフトを使用しない

ソフトの使用だと思われる．実際，8 月 18 日の実験では筆YouTube Live 配信と Zoom を用いた配信を行った．

者らの YouTube アカウントからストリーミング配信ソフ

5.1.3 実験結果

トを介さずに直接配信を行った際には遅延は大きくても 1

図 8 に実証実験の様子を示す．7 月 30 日と 8 月 7 日の 2

秒程度であった．イギリスから参加したユーザも自分の描

日間のイベントでは，合わせて主にイギリスなどからのべいた CG キャラクタとのインタラクティブ性を十分に感じ

約 100 人がコンテンツにアクセスした．同時アクセス人数られたとの報告を受けた．なお，Zoom での映像配信ではは正確には把握していないが，インタラクションの様子で遅延はほとんど確認されず，映像とのインタラクションはは最大でも 10 人程度であったと思われる．参加者はアニ

問題なく実現できた．

メやゲームなど日本のポップカルチャーに興味がある若者

なお，今回の投影サイズの場合は，現実空間の配信用カが中心で，お絵描きコンテンツを用いた従来のリアルイベ

メラから 2m 以内の位置から観察すれば，主観的には投影

ントに比べると子供の参加者は少なかったと思われる．

映像は十分に立体感に観察できた．

© 2023 Information Processing Society of Japan75

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23009
2023/3/1(a) オンラインユーザのお絵描き操作とライブ配信映像視聴の(b) オンラインユーザのお絵描き操作とライブ配信映像視聴の様子（日本）様子（イギリス）(c) それぞれの振り付けで踊る CG キャラクタたち(d) 現実空間の人と一緒に踊る CG キャラクタたち(e) オンラインユーザの操作よってジャンプする CG キャラ(f) 現実空間の人に合わせて一斉にジャンプする CG キャラク

クタ

タたち
図 8 「HYPER JAPAN 2021」での実証実験の様子

5.2 身体動作によるインタラクション実験

この実験ではジェスチャによる移動は行わなかった．

イベントでの実証実験の段階では実装されていなかった

Zoom で配信された映像中のキャラクタのオンライン

身体動作によるインタラクション機能を新たに実装して実ユーザの身体動作に対する遅延は 1 秒程度であった．参加

験を行った．使用した PC 等の機材はイベントでの実証実したユーザからは，自分の身体動作によってキャラクタが

験と同じであるが，インタラクション機能の検証のためプ動いていることは十分に感じられるという意見が得られロジェクションマッピングは実施せずに映像を大型モニた．ただし，キャラクタの動きのフレームレートは使用す

タに表示した．オンラインで参加したユーザは 5 名で，そる PC の性能の影響を受けた．MacBookPro（M1 チップ）

れぞれが PC（MacBook）で Web アプリを操作しながら，で Web アプリを操作した場合には 15fps 程度のフレーム

Zoom で配信される大型モニタ映像を視聴した．

レートが得られたが，MacBook（Core i5 1.3GHz）で操作

まず，図 9 にオンラインユーザが身体動作によってキャした場合には数 fps のフレームレートであった．使用するラクタを操作している様子を示す．カメラ映像にユーザ上

PC の性能によって Media Pipe の実行速度が変化してお半身だけが写っている場合には，オンラインユーザの手のり，それが操作するキャラクタ動作のフレームレートに影動きだけがキャラクタに反映されて（図 9(a)），全身が写っ響を与えたと思われる．

ている場合には手だけでなく足の動きもキャラクタに反映されることを確認した（図 9(b)）．5 人が同時に身体動作を行った場合でもキャラクタは問題なく動作した．なお，© 2023 Information Processing Society of Japan

6. まとめ本研究では，お絵描きベースの CG コンテンツの魅力の76情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23009
2023/3/1

謝辞
実験実施に協力していただいた HYPER JAPAN スタッ
フの皆様および実験用機材の提供に協力していただいた

NTT ドコモ東海の皆様に感謝致します．本研究の一部は，公益財団法人大幸財団の研究助成によって行われました．

(a) 上半身の身体動作での操作

参考文献
安素羅, 水野慎士, 舟橋健司: 立体的映像を用いたオンラ
イン参加型プロジェクションマッピングの開発, 情報処理学会研究報告, Vol. 2021-DCC-29, No. 19 (2021).
[2]
S. Ahn, S. Mizuno: Sketch Dance Stage Online: Threedimensional CG projection of hand-drawn characters toreal space and interaction, Proc. of ACM SIGGRAPH
ASIA 2021 Posters (2021).
[3]
チームラボ: お絵描き水族館,
入手先 ⟨https://futurepark.teamlab.art/playinstallations/sketch aquarium/⟩ (参照 2022.10.10).
[4]
リトルプラネット: デジタル紙相撲,
入手先 ⟨https://litpla.com/attraction/paperrikishi/⟩(参照 2022.10.10).
[5]
近藤菜々子, 水野慎士: スケッチブックでのお絵描きを三次元 CG で拡張する映像ツールの提案とその実現方法, 情報処理学会論文誌・デジタルコンテンツ, Vol. 1, No, 1,
pp. 1–9 (2013).
[6]
水野慎士: 輪郭検出を用いた「不思議なスケッチブック」の CG 表現拡張とイベント展示のためのビューア開発, 芸
術科学会論文誌, Vol. 17, No. 4, pp. 72–82 (2018).
[7]
水野慎士, 磯田麻梨乃, 伊藤玲, 岡本芽唯, 近藤桃子, 杉浦
沙弥, 中谷有希, 廣瀬元美: インタラクティブコンテンツ「お絵描きダンスステージ」の開発, DICOMO2015 論文集, pp. 1841–1846 (2015).
[8]
S. Mizuno: Digital Contents for Creating and Watching 3DCG of Vehicles Based on Drawing their Pictures,
IIEEJ Transactions on Image Electronics and VisualComputing, Vol. 8, No. 2, pp. 91–99 (2020).
[9]
NTT: 超高臨場感通信技術 Kirari!,
入 手 先 ⟨https://group.ntt/jp/magazine/blog/kirari/⟩(参照 2022.10.10).
[10] 大 阪 芸 術 大 学, NAKED: Prism Garden, 入 手 先⟨https://naked.co.jp/works/9535/⟩ (参照 2022.10.10).
[11] 小田島慧，柳英克: インタラクティブなプロジェクショ
ンマッピングによる文化財展示の提案, インタラクション
2017 論文集, 1-408-78, pp. 365–370 (2017).
[12] anno lab: 太陽と月の部屋, 入手先 ⟨https://nature-andhuman.art/rooms/⟩ (参照 2022.10.10).
[13] 産 業 技 術 研 究 所 デ ジ タ ル ヒ ュ ー マ ン 研 究 セ ン タ ー:
AIST/HQL 人体寸法・形状データベース 2003, 入手先⟨https://www.airc.aist.go.jp/dhrt/fbodydb/index.html⟩(参照 2022.10.10).
[14] 安素羅, 水野慎士: 位置情報を考慮した移動する自動運転
車からのプロジェクションマッピング, 情報処理学会論文
誌・デジタルコンテンツ, Vol. 10, No. 2, pp. 1–13 (2022).

[1](b) 全身の身体動作での操作
図 9

ユーザが身体動作でキャラクタを操作する様子一つとして，現実とバーチャルとの接点，および共創に着目した．そして，オンライン化に伴う絵描きのデジタル化/
バーチャル化によって失われた現実とバーチャルとの接点について，CG 映像の立体的なプロジェクションマッピ
ングを行いながらライブ配信することで，現実空間とバー
チャル空間との新たな接点を生み出す映像提示手法を開発した．また，提案映像提示手法によって，オンライン上のユーザが同じ現実空間に対してインタラクションを行うことを実現して，共創の感覚も得られる手法も提案した．
そして，著者らが開発してきた「お絵描きダンスステー
ジ」のオンライン化に際して提案手法を適用して，実装したシステムを用いて実証実験を行った．実験では，海外から参加したユーザがお絵描きを通じて日本の現実空間に立体的なプロジェクションマッピングを行ったりインタラク
ションを行ったりすることが確認でき，提案手法が有用であることが示唆された．
現時点で提案手法を適用したコンテンツを用いたイベン
トの実施は 1 回だけであり，身体動作を用いたインタラク
ションは少人数による実験だけでイベントは未実施である．特にテキストファイルを用いた身体動作中の間接座標
データの送受信は，同時に 5 名程度のオンラインユーザであれば問題ないが，より多くのユーザが操作を行った場合には対応できなくなる可能性が高い．今後，身体動作を用いたインタラクションを適用したコンテンツでイベントを行い，参加者からのフィードバックを得ながら提案手法をより詳細に検証するとともに，システムの改良や拡張を行
いたい．また，提案手法を筆者らがこれまで開発してきた
他のお絵描きベースコンテンツに適用したり，全く新しい絵描きベースコンテンツの提案や開発も行いたい．

© 2023 Information Processing Society of Japan77