情報処理学会 インタラクション 2022
IPSJ Interaction 2022

2D082022/2/21

星空ビジョン：星空を介したコミュニケーションを可能とする
HMD を用いたツールの開発
蓮雄一†1加藤直樹†2

概要：星や星座の理解を深めるために，詳しい人から説明を受けることや，他の人とコミュニケーションをとることがある．しかし，星空を見ながら特定の星についての説明や気づき，感想を伝える際，距離が離れた対象を指で星の方向を指し示し共通認識をとることは難しい．本稿では，その時間に観察できる星空を仮想空間に表示し，それに対して気づきや感想を手書きアノテーションで情報を付与し，コンピュータネットワークを通して複数人で共有することで，星空を介した双方向のコミュニケーションを可能とするツールの提案し，その設計，開発，評価について述べる．星空に対して書き込む操作方法を工夫することで，手書きでの直接的なアノテーションを可能とし，仮想空間に表示した星空に対して言葉や文字だけでは表しにくい星座や星の並び，注目している箇所などを伝えることができる．また，記録した情報を多人数でリアルタイムに共有することで，双方向的な対話ができ，自分が持っている知識や体験を星空に再現して伝えること，自分にはない新たな考えを得ることが可能となる．

1. はじめに星や星座について学ぶ機会は，天文施設が開催する観望会やプラネタリウム上映会，小中学校の理科教育などがあり，趣味やレクリエーション的な側面から，天文学の知識や理解を深めるといった学術的な側面まで，様々な活動がある．
星空観察やプラネタリウム上映会では誰かと星について話すことや星について詳しい人から説明を受けるなど，人とコミュニケーションを取りながら理解を深めていく．
星空を見ながらある特定の星についての説明や気づき，感想を伝えるときには，指で星の方向を指し示しながら，発話したりするが，想像以上に難しい面がある．たとえば，白鳥座について話をするには，近くにある特徴的な星の並びや星座を用いたり，相対的な星の明るさを用いたりするが，そもそも共通認識している星がないと対話が成り立たない．また，野外でのコミュニケーションは声が届く範囲や指さしを認識できる距離にいる必要があり，同時に伝える人数も限定されてしまう．一方，プラネタリウム上映会
では，解説者が投影しているドーム上にポインタを当てることで直接的な位置の指定ができ，大人数での共通認識が可能になる．しかし，解説者が一方向の説明をするだけのことが多く，一人一人が気になっている箇所を伝え，それに対して答えるといった双方向のコミュニケーションは行えない．
星や星座についてコミュニケーションを通して学ぶ場
合，これらの問題，つまり話題の対象となる星を確実に共有しながら対話できること，多人数で双方向的な対話ができることが満たせれば，より効果的になると考える．
本稿では，星空に対して情報を付与することで，星空を介した複数人での双方向のコミュニケーションが可能となるツールを提案する．そして，ツールの設計，開発，評価を通して提案するツールの有用性の検証について述べる．

AR[2]，プラネタリウムを手軽に体験できる V R 端末を用いたホームスターVR[3]がある．これらは観察したい方角，高度に対応して画面に星空を表示することで，星や星座に関する情報を見ることができ，天文に関する知識などを得ることができる．しかし，近藤らが行ったデジタル天文教材に関する調査によると，学芸員が理想とする天文教育の支援において，星の位置を教材が教えてくれるだけでは不十分であると指摘している[4]．また，能動的に学ぼうとしている人を助ける仕組みを実現するために，自分で見つけたという喜びや満足感を支援するシステムが必要であると述べており，星空観察のように誰かと星を共有することで確認するような支援が必要だと考えられる．
視覚的な情報に対して共有するのに適した方法として手書きアノテーションがある[5][6]．手書きのアノテーシ
ョンは，文字だけでなく記号的な表現や対応関係を表す矢印など多様な表現が可能であり，たとえば，星や星座を対象にした対話にも有効である（図 1）．
筆者を含め筆者が所属する研究室では，これまで，実際の星や星座を観察しながらを想定した，タブレット型のコンピュータを用いてコミュニケーションを可能とする星空観察支援ツールを開発してきた[7][8][9]．しかし，これらは実際の星空を観察しながら用いることを前提としたものであり，星が見えることが条件になる．また，タブレッ
ト端末を介してコミュニケーションを行うことから星空にかざす場面と書き込んでコミュニケーションをとる場面に分ける工夫をしたため，書き込みがしやすくなる一方，操作が複雑になってしまう問題がある．

2. 既存のツールと先行研究
星空を観察する際に使用する星空観察支援ツールにス
マ ー ト フ ォ ン 向 け ア プ リ の Star Walk 2[1] や 星 空 早 見†1 東京学芸大学大学院 教育学研究科†2 東京学芸大学© 2022 Information Processing Society of Japan

図1

星空へのアノテーション

287

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

3. HMD を用いた星空ビジョンの提案
3.1 基本コンセプト
星について誰かと観察しながら学び合う際，自分が知っている星座の説明や，ある星について気づいた特徴や感想を伝えることは難しい．そこで，情報通信技術を活用して，観察したい方角・高度に合わせて表示した仮想的な星空に対して手書きで書き込み（手書きアノテーション）ができるようにし，かつ，その手書きアノテーションを複数人で共有できるようにするツール”星空ビジョン”を提案する．本稿では，これまでタブレット端末を用いて実際の星空をもとに共有していたのに対して，曇りの日，昼間，屋内で使用することを想定し，没入感のある広い視野での空間 提 示 が 可 能 な ヘ ッ ド マ ウ ン ト デ ィ ス プ レ イ （ HeadMounted Display：以下，HMD）を用いて，その仮想空間に表示した星空に対して手書きアノテーションができるツールを提案する（図 2）．これにより，空気ペン[10]のような空間にある星空に対して自由に書き込み，その空間を共有しコミュニケーションすることを目指す．
本ツールは，複数人での協調作業や空間コミュニーションを支援する試みで使用される，協調型仮想環境（Cooperative Virtual Environment：以下，CVE）を用いて，その実際の星空の見える空間にいるような臨場感を持たせる．山下らは遠隔でのコミュニケーションや協働作業において，共有する空間内で情報を他者に伝達する際，顔の向きや腕の振りなどで表す大域的な志向と，指差しなどに表現される局所的な志向という２段階の志向の提示を支援する必要があると指摘している[11]．後者は手書きアノテーションが表すものそのものである．そこで本ツールでは，手書きアノテーションに加え，前者に対応する星空のどの位置に関心を持っているのかを表す顔（視線の先）を可視化し共有できるようにする．
3.2 基本設計
本節では，基本コンセプトを実現する機能の設計を述
べる．
3.2.1 天体表示機能
観察する時間・場所に合わせて星空を仮想空間に再現し，HMD を装着した頭を動かすことによって，見ている方位・高度に対応する星空を表示する機能を提供する．
実際の星空を観察するとき，最初に着目するのは星と星の位置関係を表す星座や星座を構成する星だと考えられる．また，肉眼では，空気が澄んでいて街の光が少ない地域で 5,6 等星まで観察することができる．そこで，88 星座に使用されている全ての恒星，5 等星までの恒星を合わせた 3215 個の恒星を表示することとする．また，実際に観察できる星空は地面や建物によって遮られてしまい，その図2

手書きアノテーションのイメージ© 2022 Information Processing Society of Japan

2D08
2022/2/21

下側や地面の先にある星空は見ることができない．そこで見える星と見えない星を区別するために地平線を表す線を表示する．地面や建物で隠れている見えない星空を隠すのではなく，あえて表示することで，緯度の関係で見えない星や時期や時間帯によって見えない星，これから見える星などを把握することができる．
3.2.2 星座線の表示・非表示機能
実際の星を観察するとき，星座を見つけることで，その星座から他の星や星座の位置関係を確認することがある．
しかし，たくさんある星空からどの星が星座を構成する星であるか識別することは星空を普段から観察しどのあたりに星や星座があるのかを事前に予測できる知識や経験がな
いと難しい．そのため，星座がどの星で構成されているのかを確認するために星座線を表示する機能を提供する．ただし，星座に着目せず星を観察することや星空から自分で星座を見つけ記録することが考えられるため，星座線の表示・非表示を任意に選択できるようにする．
3.2.3 手書きアノテーション機能
気づきや感想を注目している星や星座，星の並びとともに伝え，コミュニケーションを可能にするために，表示する星空に手書きでの書き込み（手書きアノテーション）ができる機能を提供する．手書きアノテーションは図 1 のように星空に対して描くものであるため，たとえば時間経過や視点移動によって表示する星が移動した場合，手書きアノテーションも結びついて動くようにする．手書きでアノテーションができることにより，文字によるコメントだ
けでなく，矢印を描いて指し示したり，線で囲って一つの星座を示したり，見つけた星座の星座線を描いたりすることができ，言葉だけでは説明しにくい内容も伝えることが可能となる．なお，描き間違えを修正するために，書いた線 を 取 り 消 す UNDO 機 能 ， 取 り 消 し た 線 を 元 に 戻 す
REDO 機能を提供する．
3.2.4 手書きアノテーション共有機能
描かれた手書きアノテーションを複数人でリアルタイムに共有できる機能を提供する（図 3）．リアルタイムで手書きアノテーションを共有することで，観察者と同じ星，星座を観察しながら星空を介した情報のやり取りをすることができる．なお，アノテーション情報は星空に紐づけるので，同じ時間に観察している人同士だけでなく，異なる時間に観察している人が見る同じ星空にも表示されることになる．これにより，他のユーザが過去に描いたアノテーションも参照することができる．
本ツールを利用する全ての人の全ての手書きアノテーションを共有し表示すると，仮想空間が手書きアノテーシ

図3

複数人での手書きアノテーション共有

288

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

ョンで埋まってしまう．また，長期間記録し続けると星空に手書きアノテーションが溜まってしまい描きたい場所に手書きアノテーションをすることができなくなる．そこで，共有する人と時間帯を限定し，手書きアノテーションできる空間を複数用意して切り替えることができる機能（ルーム機能）を提供する．
さらに，ユーザごとに手書きアノテーションの表示・非表示を選択できる機能を提供する．どの手書きアノテーションがどのユーザが書いたかを識別できるように，ユーザごとにアノテーションの色を変えて表示する．そして，その色と対応付けたユーザリストを表示し，それらの表示・非表示の切り替えを行えるようにする．これらにより，手書きアノテーションを共有するユーザーを限定することや観察する視点や用途によってルームを切り替えて記録，共有を行うことができる．
3.2.5 観察視点共有機能
本ツールを使用する際，HMD を装着しているため誰がどの方向に着目しているのか知ることができる機会は，手書きアノテーションをしている人に限定されてしまい，手書きアノテーションをしていない他の使用者がどこに着目しているのか知ることができない．そこで，観察視点（各ユーザの顔の向き）を星空に表示する機能を提供する．これによりコミュニケーションをとる前やとっている最中に他の人と関心方向を共有でき同じ星や星座に注目しているのかリアルタイムで確認することができる．
3.2.6 指差し共有機能
プラネタリウムなどで使用されるレーザポインタのように一時的に一つの部分を指定したいことがある．星空に対して注目している部分を一時的に示すために手書きアノテーションが数秒で消える指差し共有機能を提供する．これにより相手のアノテーションに対して星空にアノテーシ
ョンを残さずに反応することや，注目してほしい部分を星空にアノテーションとして一時的に指定することができる．
3.2.7 観察時間調整機能
観察時間を指定してその時に見える星空を表示する機
能を提供する．これにより，昼の時間に使用しながら，今日の夜の 8 時の星空というような指定ができ，未来の星空の状態に対して本ツールを使用することができ，その日に行う星空観察につなげることが可能となる．

2D08
2022/2/21って左右どちらの手でも操作できるようにする．
4.1.1 ガイド線
ガイド線は手書きアノテーションが可能な状態のときのみ表示する．たとえば，手のひらを内側に向けてつまむ動作を行なった時，ガイドの先は背後を示すため書く必要がない．
4.1.2 書く操作
人差し指と親指でつまむ動作（図 5 左）を行なっている
間は，ガイド線を通常の灰色から赤色に切り替え，その状態で腕・手首を動かすと，それに伴って動くガイド線の先が示す天球上の位置に対して自由線を書くことを可能とす
る．
4.1.3 消す操作
中指と親指でつまむ動作（図 5 右）をしている間は，ガイド線を通常の灰色から青色に切り替え，その状態で腕・手首を動かすと，それに伴って動くガイド線の先が示す天球上の位置にある手書きアノテーションを消すことを可能とする．

5. 試作
今回設計したツールを元にして，ツールを開発した．
本ツールは HMD の端末として，Oculus Quest 2 をターゲット環境とし，ゲーム開発ツールである Unity を用いて三次元の仮想空間を構成し，C#で開発を行った．また，手の認識や HMD の動作を画面に表示するために，Oculus 社が提供している Oculus Integration を用いて実装を行なった．なお，バックエンドのデータ送受信やデータベースとして，ユーザ同士がコミュニケーションを行うための端末
情報・手書きアノテーションの記録を Google 社が提供している Firebase Realtime Database を用いた．

4. 操作方法の設計
4.1 手書きアノテーション操作
星空に対して手書きアノテーションをする際，星や星座は手元になく，空中の距離のある離れた領域に対して行う必要がある．そこで，星空のある特定の部分を指定するために，ガイド線を手の先が示す方向に合わせて表示し，ガイド線が示す位置に自由線をかけるようにする（図 4）．
手書きアノテーションを手元にある二次元の平面に行う場合は，ペンデバイスや指が入力面についているか離れているかで，線を書く書かないを指示することができる．
一方，空中で書く動作を行う場合，接する面がなく，なぞる動作と浮かす動作を空中で行う必要がある．その際，たとえば面に触れる時と同様の押す操作，引く操作を書く書かないの区別に用いると，一つ一つ丁寧に動作する必要があるため，スムーズな動作でのアノテーションが難しくなる．そこで，手の形状（ジェスチャ）を用いることとする．
そして，書く時に自然な腕，手首の動作が自由にできる形を考慮し，つまむ動作を採用する．また，アノテーションをする動作は人によって使いやすい手が違うため設定によ© 2022 Information Processing Society of Japan

図4

HMD での手書きアノテーションイメージ

図5

書く操作と消す操作で用いる手の形状289

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6. 予備評価実験
提案したツールの有効性を検証するために，本ツールを使用してもらい，提案したツールを用いてコミュニケーションをとることができるか，書く操作や消す操作は使いやすいかについて検証した．
6.1 調査方法
代表的な星群（夏の大三角，冬の大三角）を事前に画像を確認してもらい，提案したツールを用いて三つの星を探して線を引く操作をしてもらった．次に，知っている星座や事前に得た星や星座をもとに書く操作を用いて記録し，途中から 2 人で星や星座について記入し，他の人と共有しながら使用してもらった．
終了後，アンケートによる調査を実施した．回答は，「とてもそう思う・とても当てはまる」を 2 点，「全くそう思わない・全く当てはまらない」を-2 点として，5 段階での主観的評価を行った．また，使用したツールについて改善点等を自由記述で回答してもらった．被験者は，東京学芸大学に通う学部生 2 人，大学院生 8 名，合計 10 人である．
6.2 結果
主観的評価を集計したものを図 6 に示す．また，自由記
述の内容について次にまとめる．
• 書き込みの操作が難しく，慣れる必要がある．
• 書いた内容を戻す時，書く操作をしてしまうことがあった．
• 興味があるものが真上にあると体勢的に書きづらい部分があった．
• ジェスチャ自体はわかりやすかったが，自分が意図しているところにピンポイントで書き込むのが難しかった．
• 相手に反応する方法として線を書くのが難しいのでスタンプのような機能が欲しいと思った．
• 他の人の書き込みが見れることで学び合いにつながると思った．
• 自分の気づきや発見をそのまま星空に残せるのがよかった．
• 星空をなぞることで，これまでなんとなく知っていた星座や星座の位置関係が実感を持って学ぶことができた．
• 他人が書き込んだ内容を見つけ出すのが難しかった．
• 他の人が新たに書き込んだ箇所に向かって矢印などがあるとわかりやすそうだと感じた．
6.3 考察「ペン機能を使用して書き込むことで星に関して記録がしやすかった」，「他の人の書き込みを見ることで相手の伝えたい内容がすぐにわかった」ではとてもそう思う，少し

図6

2D08
2022/2/21

そう思うと答えた被験者の割合が高いことがわかった．また，自由記述によると，「気づきや発見をそのまま星空に残せる」，「他の人の書き込みが見れることで学び合いにつながると思った」というように星や星座に対して手書きアノテーションができることによりコミュニケーションがとりやすい可能性が示された．一方，「ペン機能で書く操作は使いやすかった」，「ペンで書いた一部を戻す・取り消す操作は使いやすかった」ではどちらでもない，あまりそう思わないと回答した人が多く，自由記述にあるように星や星座に書くことに関して良い意見が得られたが，思ったところにうまく書けない場合や慣れが必要との意見が多かった．以上のことから操作方法についてどんな方法で入力するのが良いのか検討する必要があると考え，改めて検討する必要がある．特に文字を書く際に細かい漢字や多めの文を書きたいときに苦戦している様子が見られた．
また，提案として他の人が書き込んだ際にどこかに書いたことを知らせる機能があると良いという意見があり，ガイドで表示する方法なども検討したい．

7. おわりに
本稿では，野外で星空観察が可能でない場面を想定した，星空を介したコミュニケーションを支援するツールとして VR を用いたツールを提案し，設計，実装について述
べた．CVE を用いて実際の星空の見える空間を表示し，その空間に手書きアノテーションを可能にすることで双方向のコミュニケーションを可能にした． また，開発したツールを用いた予備評価実験から手書きアノテーションを用いることで星空を介したコミュニケーションで相手に伝えやすくなる可能性が示した．
今後は，開発したツールの操作性の改善や新たな機能を提案し，定量的な評価を行い，本ツールの有効性を検証する．

参考文献
[1]
[2]

Starwalk2：https://starwalk.space/ja（最終確認：2021 年 12 月）
星空早見 AR：https://www.kyoikushuppan.co.jp/digital/cate5/ar.html（最終確認：2021 年 12 月）[3] ホームスターVR：https://www.pckt.co.jp/vr/hsvr/psvr/（最終確認：2021 年 12 月）[4] 近藤他：天文教育における学芸員を支援するための ICT の活用とその効果，情報文化学会誌 16(2),pp.52-59(2009).
[5] 角他：PhotoChat：写真と書き込みの共有によるコミュニケーション支援システム,情報処理学会論文誌 Vol.49 No.6,pp.1993-2003, (2008)[6] 加藤他：公開インクフォーマットの設計と手書き電子メー
ル環境の開発，電子情報通信学会論文誌 D-I Vol.J84-D-I No.2,pp.203-212 (2001)[7] 金子他：星空ビジョン:星空を介してコミュニケーションを可能とするツールの開発，情報処理学会第 73 回全国大会講演論文集，vol.1,pp.197-198(2011)．
[8] 谷田川他：星空ビジョン:星空を介してコミュニケーションを可能とするツールの開発，情報処理学会第 75 回全国大会
講演論文集，vol.1,pp.205-206(2013)．
[9] 蓮他：星空ビジョン:星空を介して情報の記録・共有ができるツールの開発，ヒューマンインタフェース学会(2020)．
[10] 椎尾他：コミュニケーションツールのための簡易型 AR システム，日本ソフトウェア科学会 WISS2000, pp.117124(2000).
[11] 山下他: コミュニケーションにおけるフィードバックを支援した実画像通信システムの開発，情報処理学会誌，vol.45,No1,pp.300-310(2004).

主観的評価集計結果© 2022 Information Processing Society of Japan290