情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2021-CE-162 No.18
Vol.2021-CLE-35 No.18
2021/12/4

星空ビジョン：仮想空間での星空を介したコミュニケーションを支援するツールの開発
蓮雄一†1加藤直樹†2

概要：星や星座の理解を深めるために，詳しい人から説明を受けることや，他の人とコミュニケーションをとることがある．しかし，星空を見ながら特定の星についての説明や気づき，感想を伝える際，距離が離れた対象を指で星の方向を指し示し共通認識をとることは難しく，声の届く範囲や指差しを認識できる距離にいる必要があり伝えることができる人数が限定される．本稿では，その時間に観察できる星空を仮想空間に表示し，それに対して気づきや感想を手書きアノテーションで情報を付与し，コンピュータネットワークを通して複数人で共有することで，星空を介した双方向のコミュニケーションを可能とするツールの提案・設計・試作を行った．星空に対して書き込む操作方法を工夫することで，手書きでの直接的なアノテーションを可能とし，仮想空間に表示した星空に対して言葉や文字だけでは表しにくい星座や星の並び，注目している箇所などを伝えることができる．また，記録した情報を多人数でリアルタイムに共有することで，双方向的な対話ができ，自分が持っている知識や体験を星空に再現して伝えること，自分にはない新たな考えを得ることが可能となる．
キーワード：ペンインタフェース，コミュニケーション，情報共有

Development of communication tools
through the starry sky in virtual space
YUICHI HASU†1
1. はじめにNAOKI KATO†2ながら対話できること，多人数で双方向的な対話ができることが満たせれば，より効果的になると考える．

星や星座について学ぶ機会は，天文施設が開催する観望

星が見える時間帯は主に夜間であることから，観望会な会やプラネタリウム上映会，小中学校の理科教育などあり，どのイベント以外では，星空を介して人とコミュニケーシ

趣味やレクリエーション的な側面から，天文学の知識や理ョンを取る機会は家族や近所の友人などとともに見る場合解を深めるといった学術的な側面まで，様々な活動がある．に限定されてしまう．近くに伝える相手がいなくても別の星空観察やプラネタリウム上映会では誰かと星につい場所で観察している人とコミュニケーションをすることがて話すことや星について詳しい人から説明を受けるなど，できれば，星空観察をして理解を深める機会を増やすこと人とコミュニケーションを取りながら理解を深めていく．

ができる．情報通信技術を活用することで同じ場所にいな

星空を見ながらある特定の星についての説明や気づき，感い人同士で双方向なコミュニケーションや協調作業をする

想を伝えるときには，指で星の方向を指し示しながら，発ことが可能になってきているが，既存の遠隔コミュニケー話したりするが，想像以上に難しい面がある．たとえば，

ションツールであるメッセージアプリや電話では，先にも近くにある特徴的な星の並びや星座を用いたり，相対的な記した理由で，星や星座を対象にした対話をすることは困星の明るさを用いたりするが，そもそも共通認識している難である．ビデオ通話などで星をカメラで捉えて共有する星がないと対話が成り立たない．また，野外でのコミュニことは可能であるが，高度な機材が必要なため簡単にはでケーションは声が届く範囲や指さしを認識できる距離にいきない．視覚的な情報に対して共有するのに適した方法とる必要があり，同時に伝える人数も限定されてしまう．一して手書きアノテーションがある[1][2]．手書きのアノテー

方，プラネタリウム上映会では，解説者が投影しているドションは，文字だけでなく記号的な表現や対応関係を表すーム上にポインタを当てることで直接的な位置の指定がで矢印など多様な表現が可能であり，たとえば，星や星座をき，大人数での共通認識が可能になる．しかし，解説者が対象にした対話にも有効である（図１）．

一方向の説明をするだけのことが多く，双方向のコミュニケーションは行えない．
星や星座についてコミュニケーションを通して学ぶ場合，これらの問題，つまり話題の対象となる星を確実に共有しそこで，本稿では，星空に対して手書きアノテーションで情報を付与することで，星空を介した多人数での双方向のコミュニケーションを可能とするツールを提案し，その設計と開発について述べる．

†1 東京学芸大学大学院 教育学研究科
Graduate School of Education, Tokyo Gakugei University†2 東京学芸大学
Tokyo Gakugei Universityⓒ2021 Information Processing Society of Japan1

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2021-CE-162 No.18
Vol.2021-CLE-35 No.18
2021/12/4

HMD に表示するため，方向を示すことはできてもこの星だと明確に示すことができない．共有できる人数も１体１を想定しており限定されてしまう問題もある．

3. 星空を介したコミュニケーションツールの提案
3.1 基本コンセプト
星について誰かと観察しながら学び合う際，自分が知っている星座の説明や，ある星について気づいた特徴や感想を伝えることは難しい．また，一緒に観察できる機会を増やすことも星空観察では大きな課題である．
図 １

星空への手書きアノテーション

そこで本稿では，情報通信技術を活用して，観察したい方角・高度に合わせて表示した仮想的な星空に対して手書

今回，複数の参加者がいても個人が星空に対して感じたきで書き込み（手書きアノテーション）ができるようにし，ことをすぐに表出できること，異なる場所にいても同期しかつ，その手書きアノテーションをコンピュータネットワてコミュニケーションを取れること，大きな機材設置せずークを通して複数人で共有できるようにするツール（星空に使用できることを踏まえ，次の二つのツールを提案する．

ビジョン）を提案する．

1） 実際の星空を観察する場面で使用できるタブレット端末ベースのツール
2） 昼間や雨天など実際の星空がない場面で使用できる
VR ベースのツール

2. 既存の製品と関連研究
2.1 デジタル天文教材

星空に手書きアノテーションができることにより，発話や文字だけでは表しにくい星座や星の並び，注目している箇所などを伝えることができる．また，コンピュータネッ
トワークを通してアノテーションの共有ができることにより，異なる場所にいる複数の人と同じ星空に対する対話が可能になる．
3.1.1 タブレット端末ベースのツール

ICT を活用した星や星座の理解を深めるツールとして，星空ビジョンの理想系は，空気ペン[6]のような技術を用

スマートフォン向けデジタル天文教材に Star Walk 2 や星空いて，実際の星空に手書きアノテーションができることで早見 AR がある．これらは観察したい方角，高度に対応しあるが，現状では一般化が難しい．そこで，スレートタイて画面に星空を表示することができる．これらのツールをプのコンピュータ（タブレット端末）を用い，タブレット使用することで，観察している星や星座に関する情報を見端末を星空にかざすと，その先にある星空がタブレット端ることができ，天文に関する知識などを得ることができる．

末の画面に表示され，その仮想的な星空に手書きアノテー

しかし，近藤らが行ったデジタル天文教材に関する調査にションができるツールの提案をしてきた[7][8][9]（図２）．

よると，学芸員が理想とする天文教育の支援において，星本ツールは，実際の星は天候や環境によってモデルのよの位置を教材が教えてくれるだけでは不十分であると指摘

うに全ての星が見えるわけではないことを補い，天空にむしている[3]．また，能動的に学ぼうとしている人を助ける

けて手書きアノテーションをする難しさを解消して，実際仕組みを実現するために，自分で見つけたという喜びや満に星空を見ながらのコミュニケーションを円滑にすること足感を支援するシステムが必要であると述べており，星空を目指す．

観察のように誰かと星を共有することで確認するような支援が必要だと考えられる．
2.2 HMD を用いた天文に関する研究
川崎らは HMD を用いて頭の動作と連動して画面に表示する星を変化させることで，実際の星空を観察しているような移動操作ができるシステムの構築を行った [4]．
田尻らは HMD を用いて仮想空間における教師の介入指導が可能なツールの開発を行った[5]．これにより学習者
は HMD をつけ，教師がモニタを介して位置を指定するとリアルタイムに同期させることで指導を可能とした．しかし，教師はモニタによって学習者の視点移動に合わせた位置しか確認できず，また，手のジェスチャを学習者のⓒ2021 Information Processing Society of Japan

図 2

星空観察で手書きアノテーションをしている様子

2情報処理学会研究報告
IPSJ SIG Technical Report
3.1.2 VR ベースのツール

Vol.2021-CE-162 No.18
Vol.2021-CLE-35 No.18
2021/12/4星まで観察することができる．そこで，88 星座に使用され先のタブレット端末ベースのツールは実際の星空を観ている全ての恒星，5 等星までの恒星を合わせた 3215 個の察しながら用いることを前提としたものである．しかし，恒星を表示することとする．また，地平線を表す線を表示

実際の星空の観察は星が見えることが条件になる．つまり，し，地平線の下の見えない星や星座を表示することにより，曇りの日，昼間，屋内では，実際の星空を観察することは緯度の関係で見えない星や時期や時間帯によって見えないできない．そのような場面でも星空を楽しむことができる星，これから見える星などを把握することができる．

ようにするものの一つがプラネタリウムである．プラネタ

3.3.2 星座線の表示・非表示機能

リウムは実際の星空の下にいるような没入感を体験できる．

実際の星を観察するとき，星座を見つけることで，そのしかし，大掛かりな装置が必要であり，気軽に楽しめるも星座から他の星や星座の位置関係を確認することがある．のではない．そこで，没入間のある広い視野での空間提示

そこで，どの星が星座を構成する星であるか表すために星が 可 能 な ヘ ッ ド マ ウ ン ト デ ィ ス プ レ イ （ Head Mounted

座線を表示する機能を提供する．星座に着目せず星を観察

Display：以下，HMD）を用い，その仮想空間に表示した星することや実際の星から自分で星座を見つけ記録すること空に対して手書きアノテーションができるツールの提案をが考えられるため，星座線の表示・非表示を任意に選択でする．

きるようにする．

タブレット端末ベースのツールでも昼間や天気の悪い

3.3.3

手書きアノテーション機能日に用いることができるが，見える範囲がタブレットの画気づきや感想を注目している星や星座，星の並びととも面の向こう側にある星空だけであり，天空に広がる星空をに伝え，コミュニケーションを可能にするために，表示す眺めながらという臨場感を得ることはできない．本ツール

る星空に手書き入力によるアノテーションができる機能をでは複数人での協調作業や空間コミュニーションを支援す提供する．手書きアノテーションは星空に対して描くもの

る試みで使用される，協調型仮想環境（Cooperative Virtualであるため，たとえば時間経過や視点移動によって表示すEnvironment：以下，CVE）を用いることで，その実際の星る星が移動した場合，手書きアノテーションも結びついて空の見える空間にいるような臨場感を持たせる．

動くようにする．手書きでアノテーションができることに山下らは遠隔でのコミュニケーションや協働作業におより，文字によるコメントだけでなく，矢印を描いて指しいて，共有する空間内で情報を他者に伝達する際，顔の向示したり，線で囲って一つの星座を示したり，見つけた星きや腕の振りなどで表す大域的な志向と，指差しなどに表座の星座線を描いたりすることで，言葉だけでは説明しに現される局所的な志向という２段階の志向の提示を支援す

くい内容も伝えることが可能となる．なお，描き間違えたる必要があると指摘している[7]．後者は手書きアノテーシ

ところを描き直したいことがあるため，UNDO 機能を提供

ョンが表すものそのものである．そこで本ツールでは，手する．

書きアノテーションに加え，前者に対応する星空のどの位

3.3.4 手書きアノテーション共有機能

置に関心を持っているのかを表す顔（視線の先）を可視化

描かれた手書きアノテーションを複数人でリアルタイし共有できるようにする．

ムに共有できる機能を提供する（図 3）．リアルタイムで手3.2 基本設計

書きアノテーションを共有することで，観察者と同じ星，本節では，基本コンセプトを実現する機能の設計を述べ

星座を観察しながら星空を介した情報のやり取りをするこる．まず，星空を介したコミュニケーションツールに必要とができる． なお，アノテーション情報は星空に紐づけるな共通する基本機能について述べ，次にタブレット端末ベので，同じ時間に観察している人同士だけでなく，時間とースのツールにおける機能，続けて VR ベースのツールで提供する機能について述べる．
3.3 基本機能
3.3.1 天体表示機能
観察する時間・場所に合わせて星空を再現し，端末の動きに合わせてその先に見える星空を表示する機能を提供する．観察視点の移動は端末の姿勢情報を自動で反映させる
ため観察したい方位・高度に合わせて使用することで，観察視点の移動に画面上の操作を必要とせず，観察したい星を自由に探しながら観察を行うことができる．
星空を観察するとき最初に着目するのは星と星の位置関係を表す星座や星座を構成する星だと考えられる．また，図 3

複数人での手書きアノテーション共有

肉眼では，空気が澄んでいて街の光が少ない地域で 5,6 等ⓒ2021 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2021-CE-162 No.18
Vol.2021-CLE-35 No.18
2021/12/4

共に星空と合わせて対応する位置に表示する．これにより，い場所に描くことや，描く線がぶれてしまうことが危惧さ

他のユーザが過去に描いたアノテーションも参照することれる．そこで，画面をかざす方角，高度に合わせた画面へができる．手書きアノテーションをリアルタイムに他のユの表示を止め，表示する星を固定する機能を提供する．こーザの端末に反映させるため，常にサーバとデータの送受れにより，タブレット端末を安定した姿勢で持つことがで信を行い更新する．

き，手書きアノテーションがしやすくなる．

また，本ツールを利用する全ての人の全ての手書きアノテーションを共有し表示すると，画面が手書きアノテーシ

3.5 VR ベースのツールにおける機能
3.5.1 観察視点共有機能ョンで埋まってしまう．また，長期間記録し続けると画面本ツールを使用する際，HMD を装着しているため誰がに手書きアノテーションが溜まってしまい描きたい場所にどの方向に着目しているのか知ることができる機会は，手手書きアノテーションをすることができなくなる．そこで，書きアノテーションをしている人に限定されてしまい．手共有する人を限定し，手書きアノテーションできる空間を書きアノテーションをしていない他の使用者がどこに着目複数用意して切り替えることができる機能（ルーム機能）しているのか知ることができない．誰がどの方向を見ていを提供する．これにより，観察する視点や用途によって記るのかを示すために，観察視点を星空に表示する機能を提録するルームを分けることが可能となる．また，ユーザご供する．これによりコミュニケーションをとる前やとってとに手書きアノテーションの表示・非表示を選択できる機

いる最中に他の人と関心方向を共有でき同じ星や星座に注能を提供する．どの手書きアノテーションがどのユーザが目しているのかリアルタイムで確認することができる．

書いたかを識別できるように，ユーザごとにアノテーショ

3.5.2 指差し共有機能ンの色を変えて表示する．そして，その色と対応付けたユプラネタリウムなどで使用されるレーザポインタのよーザリストを表示し，それらの表示・非表示の切り替えをうに一時的に一つの部分を指定したいことがある．星空に行えるようにする．これらにより，手書きアノテーション

対して注目している部分を一時的に示すために手書きアノを共有するユーザーを限定することや観察する視点や用途テーションが数秒で消える指差し共有機能を提供する．こによってルームを切り替えて記録，共有を行うことができ

れにより相手のアノテーションに対して星空にアノテーシる．

ョンを残さずに反応することや，注目してほしい部分を星3.4 タブレット端末ベースのツールにおける機能

空にアノテーションとして一時的に指定することができる．

3.4.1 最微光星調整機能

3.5.3 観察時間調整機能

観察できる星は，観察地域の街の光，大気中の塵，月の観察時間を指定してその時に見える星空を表示する機明るさなどによって変化する．画面上に実際に見えている能を提供する．これにより，昼の時間に使用しながら，今星よりも暗い星が大量に表示されていると見えていない星

日の夜の○時の星空というような指定ができ，未来の星空や星座を補完して確認することができ，明るい星のみを限の状態に対して本ツールを使用することができ，その日に定して表示すると，画面に表示されている星や星座と実際行う星空観察につなげることが可能となる．の星を一致させることができる．そこで，画面上に表示する星の明るさの上限・下限を調整できるようにすることで，

4. 操作方法の設計

観察している星がタブレット端末に表示されているどの星

4.1 タブレット端末ベースのツールの操作と対応しているのか確認しやすくする．

4.1.1 ボタン操作

3.4.2 拡大縮小機能

本ツールを使用して星空観察をする際，「観察している星空を観察するとき，俯瞰して全体を観察したいときと星空の方角に画面をかざす場面」（以下，「観察場面」とす一部の星座など細かい部分を観察したい時がある．タブレる），「気づきや感想を記録する場面」（以下，「記録場面」

ット端末上に表示する星空は 360 度に広がる星空の一部をとする）の２つに分けることができる．「観察場面」では，切り取ってその方位・高度の星を表示している．星空を観主に観察したい星空の方向に合わせて端末を移動する操作

察するとき，俯瞰して全体を観察したいときと一部の星座など細かい部分を観察したい時があるため，タブレット端末に表示される星空の範囲を拡大，縮小できる機能を提供する．
3.4.3 観察視点固定機能
タブレット端末に表示する星空は，画面をかざす方角，高度の星空を表示し続ける．そのため，手書きアノテーシ
ョンをする際に，タブレット端末を支えている手が動いてしまうことにより，星空が移動してしまい，本来入力したⓒ2021 Information Processing Society of Japan

図 4

観察場面（左）と記録場面（右）での操作
イメージ

4情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2021-CE-162 No.18
Vol.2021-CLE-35 No.18
2021/12/4

めに，ガイド線を手の先が示す方向に合わせて表示し，ガイド線が示す位置に自由線をかけるようにする（図 5）．
手書きアノテーションを手元にある二次元の平面に行う場合，線の書き始めから書き終わりまでの間は面をなぞる動作を行い，次の線を書くまでは浮かす動作を行う（図6）．このことにより線を書く，書かないを選択し，自由線の入力が可能になる．一方，空中で書く動作を行う場合，接する面がなく，なぞる，浮かす動作を空中で行う必要がある．その際，面に触れる時と同様に押す操作，引く操作
図 5

場面ごとのボタン表示の切り替え操作を用いてアノテーションを行う場合，書き始め，書き終わりを指定するために一つ一つ丁寧に動作する必要があるたを行う．
「記録場面」では主に画面上で手書きアノテーショめ，スムーズな動作でのアノテーションが難しくなる．そンの操作を行う（図 4）．星空に画面をかざしながら手書き

こで，手のジェスチャとして，その書き始め，書き終わりアノテーション操作をすることはユーザにとって負荷が高を切り替えて指定できる形，さらに，書く時に自然な腕，く，観察中にタブレット端末を移動しながら手書きアノテ

手首の動作が自由にできる形を考慮し，つまむ動作を用いーションを行なってしまう誤作動が生じてしまう．そこで，て表現する．また，アノテーションをする動作は人によっ

固定機能のボタン操作によって「観察場面」と「記録場面」て使いやすい手が違うためその人に合わせて左右設定できによって使用できる操作を分ける．

るようにする．

記録場面では，手書きアノテーション操作や描いた線を(1) 書く操作

１つ戻す Undo 操作をするためのボタンを表示する．一方，人差し指と親指でつまむ動作を行なっている間，ガイド

観察場面では，観察したい星空と画面を相互に確認しなが線が示す天球上の位置に対して自由線を書くことができる．

ら使用するため，観察時に不必要な操作ボタンが表示されつまむ動作を認識している時，ガイド線を赤色で提示し，ないようにする（図 5）．記録場面では手書きアノテーショつまむ動作をやめると灰色に切り替わる．

ン，Undo 機能を使用できるよう表示した．ボタンの背景色(2) 消す操作を固定している場合には白塗りのアイコンに，固定してい中指と親指でつまむ動作をした時にアノテーションがない場合に枠のみのアイコンにすることで観察場面なのか記録場面なのかを判断できるようにした．また，固定操作による切り替えは大きい画面を手に持って使用することを想定して，使用時に手が届きやすい右下に操作ボタンを配置した．
4.1.2 星空の移動操作
記録場面において，固定した星空表示の外側にずらして描きたい場合がある，一度観察場面に切り替えて調整する操作を行うとアノテーションに集中していたにも関わらず中断することになる．そこでタッチ操作によって表示する

図 6

HMD での手書きアノテーションイメージ

星空の位置の調節を可能にする操作を行う．これにより記録を中断せずに星空へのアノテーションが可能になる．
4.1.3 ピンチインピンチアウト操作
タブレット端末に二本指でつまむ動作を行うことにより星空の表示範囲を小さくし，広げる動作を行うことによって星空の表示範囲を大きくすることができる．この操作は観察場面，記録場面の両方で使用ができ，任意のタイミングで操作ができる．
4.2 VR ベースのツールの操作
4.2.1 手書きアノテーション操作
星空に対して手書きアノテーションをする際，星や星座は手元になく，空中の距離のある離れた領域に対して行う

図 7

書き始め書き終わりの指定必要がある．そこで，星空のある特定の部分を指定するたⓒ2021 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report
あった場合消すことを可能とする．つまむ動作を認識している時，ガイド線を青色で提示し，つまむ動作をやめると灰色に切り替わる．
(3) ガイド線の表示・非表示
ガイド線は手書きアノテーションが可能な状態のときのみ表示する．つまむ動作を内側に向けて行なった時，描画する方向は視点の背後となり書く必要がない．

5. 試作
タブレット端末ベースのツールは，タブレット端末の画面をかざした方角と高度に対応して星空を画面に表示する
ため，位置情報の取得，方位の取得，姿勢情報の取得の規格が統一されている iOS10.3 以降の iPad，iPhone のタブレ

Vol.2021-CE-162 No.18
Vol.2021-CLE-35 No.18
2021/12/4[5]田尻他: HMD を用いた 3 次元ジェスチャ操作による没入型天体教材の開発，日本教育工学会論文誌 40,pp.193196(2016).
[6] 椎尾他：コミュニケーションツールのための簡易型 AR システム，日本ソフトウェア科学会 WISS2000, pp.117124(2000).
[7] 金子他:星空ビジョン:星空を介してコミュニケーションを可能とするツールの開発，情報処理学会第 73 回全国大会講演
論文集，vol.1,pp.197-198(2011)．
[8] 谷田川他:星空ビジョン:星空を介してコミュニケーションを可能とするツールの開発，情報処理学会第 75 回全国大会講演論文集，vol.1,pp.205-206(2013)．
[9] 蓮他:星空ビジョン:星空を介して情報の記録・共有ができるツールの開発，ヒューマンインタフェース学会(2020)．
[10] 山下他: コミュニケーションにおけるフィードバックを支援した実画像通信システムの開発，情報処理学会誌，vol.45,No1,pp.300-310(2004).

ット端末を実行環境とし，Xcode（version 11.6）で開発を行い，Apple 社が提供する swift 言語を用いて試作を行なった．
VR ベースのツールはヘッドマウンドディスプレイの端末として Oculus Quest 2 をターゲット環境とし，Unity を用いて開発した．
なお，ユーザ同士がコミュニケーションを行うための端
末情報・手書きアノテーションの記録を Google 社が提供している Firebase Realtime Database を用いた．

6. おわりに
本稿では，星空を介したコミュニケーションを支援するツールとして 2 つの手法を検討し提案，設計，実装を行なった．1 つ目の手法では，タブレット端末をかざすとその先にある星空がタブレット端末に表示し，その仮想的な星空に手書きアノテーションをすることで，注目している箇所に注目しながらコミュニケーションをとることを可能にした．また，異なる場所にいる複数人と星空観察をしながら同じ星空をもとにした対話が可能になった．2 つ目の手法である VR を用いたツールでは，野外で星空観察が可能でない場面を想定し，CVE を用いて実際の星空の見える空間を表示し，その空間に手書きアノテーションを可能にすることで双方向のコミュニケーションを可能にした．
今後は，開発したツールを用いて星空を介したコミュニ
ケーションに関する評価を行い，有効性を検証することが課題である．評価をもとに，機能の改善を行い，新たな機能を提案し開発を行っていく．
参考文献
[1]

角他： PhotoChat：写真と書き込みの共有によるコミュニ
ケーション支援システム,情報処理学会論文誌 Vol.49 No.6,pp.1993-2003, (2008)[2] 加藤他：公開インクフォーマットの設計と手書き電子メール環境の開発，電子情報通信学会論文誌 D-I Vol.J84-D-I
No.2, pp.203-212 (2001)[3] 近藤他: 天文教育における学芸員を支援するための ICT の活用とその効果，情報文化学会誌 16(2),pp.52-59(2009).
[4] 川崎他:身体動作に連動した直感的な視線操作と視点切り替えが可能な仮想天体学習環境の構築，日本教育工学会論文
誌,33,153-162(2010).

ⓒ2021 Information Processing Society of Japan6