画像認識を用いた屋外での星座学習の提案
菅波淳之介*1・坂知樹*2・鎌田洋*1
Email: c6302171@st.kanazawa-it.ac.jp*1: 金沢工業大学 工学研究科 システム設計工学専攻*2: 東京電機大学◎Key Words

1.

天体観測，星座教育，深層学習，Web アプリケーション

はじめに近年，世界各国で宇宙開発が加速しており，日本でも宇宙基本計画(1)において，2020 年で4 兆円の市場規模を2030年までに 8 兆円規模に拡大することを計画している。このことからも，今後日本での宇宙産業に取り組む人材を増加させるために，宇宙・天文に興味を持ってもらうための天文教育が重要となっている。
しかし，日本科学教育学会のアンケート調査(2)によると，宇宙教育の課題として観測が難しいことや，教員の知識不足などが挙げられている。このことからも，天体観測には星座や天体，観測に必要な機材に関する事前知識が必要であることが原因で天体観測の魅力を伝えられない場面が多いことが分かる。
一方で，近年デジタルカメラの性能向上に伴って天体写真の撮影が容易になっている。地上の風景と天体を写した星景写真や星の動きを表すタイムラプス動画などは，SNS を通じて配信され，天文・宇宙に興味を持つきっかけの一助となっている。さらに，一部のスマートフォンカ
メラでは天体写真機能を搭載しており，条件の良い場所では天の川の撮影なども可能になりつつある。つまり，天体観測を楽しむ際に星景写真の活躍の場が広がっており，機材面でのハードルも下がってきている。このことから，カメラ機材の性能向上によって身近となりつつある星景写真から星座を検出できれば，専門的な事前知識や機材を必要とせず天体観測を楽しめるのではないかと考えた。
したがって本研究の目的は，星景写真を用いて初心者が星座を見つける際の支援を行う Web アプリケーションを開発することとした。

2. 従来手法と問題点
2.1 星図アプリ
現在天体観測の支援技術として，スマートフォン向けの星図アプリが提供されている。これはスマートフォンのセンサーを用いて端末を向けた空の方向を認識し，対応する星図を表示するアプリケーションである。しかし，アプリ上の星図と実際の星空を比較して星を見つけるためには一定の慣れが必要であり，「直接夜空から星座を見つける」という手順の補助には改善の余地がある。

2.2 従来の星座検出技術
従来の星座検出技術として， 望遠鏡の自動ガイドを行う技術として Plate Solving 技術が存在する。これは，望遠鏡で撮影された画像と用意された星図のデータベースを照合し，映っている星を特定する技術である。 千代西尾ら(5)は Plate Solving を用いた理科教育における天体観望において，望遠鏡を用いた星雲や星団，銀河などの電子観望を行っている。Plate Solving は現在，望遠鏡の向きを自動計算するためにのみ使われており，デジタルカメラで撮影した星景写真に利用されている事例は見られなかった。
従ってこの技術を活用するためには望遠鏡や赤道儀といった専用の機材が必要になる。これらの機材を用意することは個人や少数の初心者団体には困難である。
また，星景写真を用いた星座検出技術に関して，パターンマッチング法を用いた手法(3)(4)が存在する(図 1)。これらの手法では，星座を構成する星の一部が，建物などの遮蔽物に隠れている場合に星座を検出できないという問題点がある。

図 1 従来手法(3)(4)の星座検出フロー

3.

提案手法

近年の画像処理分野では，深層学習を用いた物体検出技術が向上している。深層学習は物体の特徴量を学習するため，画像に写っている部分的な特徴から物体を検出できる(図 2)。星景写真では星座が建物や木，雲などの遮蔽物によって部分的にしか星座を観測できない場合がある。したがって深層学習によって星座を検出すれば，データベースを用いた検出を行う従来手法より柔軟に検出できる可能性がある。
筆者は以前より星座検出に関する研究を行っており，複数の深層学習モデルを比較して星座検出に適したモデルの模索を行ってきた(6)。この研究では，深層学習を用いた星座検出では物体追跡モデルが有効であることが分かっている。物体追跡モデルを用いて星を検出し，プロットした出力例を図 3 に示す。学習した星の位置関係から星座を検出し，星の位置にラベルをプロットすることができる。学習した星の番号順に対応してカラーマップが設定されており，検出した星の位置に色の付いた点を表示している。図 3 は本研究で学習した北斗七星とこぐま座を検出した結果である。ここでは全 14 点のうち 2 点は検出ができず，検出した 12 点をプロットしている。

図 2 深層学習を用いた星座検出

DeepLabCut(7)を採用した。DeepLabCut に搭載されているGUI を用いて 362 枚の画像に対してラベル付けを行い，データセットを作成した。ネットワークに ResNet152(9)，反復回数を 50,000 回に設定し学習を行った。
試作アプリのフレームワークには Flask(8)を使用した。
アプリケーションの処理フローは図 4 の通りである。
1. 一眼レフカメラで撮影した連続した星景写真を用意する。2. 試作アプリに接続し，連続した画像をアップロードする。3. 受け取った写真をサーバ側でリサイズし，タイムラプス動画に変換する。4. 変換した動画を表示する。5. 表示した動画を用いて DeepLabCut で解析を行い，検出した星をラベル付けした検出動画を作成する。6. 検出動画を表示する。

図 3 DeepLabCut を用いて検出した星座画像
本研究では過去の研究(6)の結果にもとづいて深層学習モデルを活用した星座検出アプリケーションを提案する。
本アプリケーションの特徴は以下の 2 点である。
1 点目は，画像から星座を検出しプロットする点である。
その場で撮影した画像を使用することで，画像内の電柱や建物，山などの前景を目印にでき，より簡単に星座を見つけられるようになると考えた。また，満天の星空では星が多すぎるためにどの星を結べば良いか分からなくなるという場面も存在する。そのような場面でも，その場で撮影した写真であれば，肉眼の景色との差異が少なく肉眼で星座を探す際の参考として適していると考えた。
2 点目は，機材の専門性を下げた点である。本アプリケーションは望遠鏡や赤道儀などの天体観測の専門機材を必要とせず，デジタル一眼レフカメラと三脚を用いて撮影した画像を使用する。これによって，専門的な機材を揃えるのは難しいという人々が手軽に天体観測を楽しめるようになると考えた。

4.

試作アプリケーション

本研究では，深層学習による物体追跡モデルを用いた試作 Web アプリケーション(以下，試作アプリ)を開発した。試作アプリの検出対象として，北斗七星とこぐま座を採用した。北斗七星はおおぐま座の一部の星の並びで，日本では広く知られていることから初心者でも理解しやすいと考えた。また，こぐま座 α 星のポラリスという星は北極星という星の中でも重要な役割を持つ天体である。
したがって星座教育においても重要であり，かつ初心者にも分かりやすいと考えこれらを学習対象とした。
学習に使用した星景写真の撮影には表 1 の機材を使用した。実験も同様の機材を用いて実験を行った。
星座の検出モデルには，動画に対して物体追跡を行う

図 4 試作アプリケーションの処理フロー
これにより，ユーザーは撮影した画像をアップロードするだけで星座を検出し，動画を閲覧することができる。

5.

実験

試作アプリを使用した天体観測を行い，使用感について調査を行った。実験の手順は図 5 の通りである。
1. 試作アプリを使用せずに天体観測を行う。初心者向けに，試作アプリの検出対象の星座について口頭での簡単な解説を行い，実験前アンケート調査を行う。2. カメラで 5 枚程度の連続した星景写真を撮影する。3. カメラと PC を接続し，撮影した画像を PC に送信する。4. PC 上で試作アプリを起動し，画像から検出動画を作成する。5.
表示された検出動画と共に再度同様の解説を行い，被験者に星座を探してもらう。その後試作アプリを使用した感想について，実験後アンケート調査を行う。アンケートは 4 件法の選択式と記述式の設問を組み合わせて調査を行った。
実験前アンケートでは被験者の背景情報を調査した。
天体観測の経験や天体観測に使用しているツールについて調査し，普段通りの天体観測を行った感想を調査した。
実験後アンケートでは試作アプリを使用した感想について調査した。各設問で試作アプリの使用感，画像を用いた視覚的なガイドの評価，試作アプリ全体の評価できる点と評価できない点，改善点について調査した。

表 1 使用機材
カメラ
Nikon D810
Nikon Z5Canon EOS RP
Sony α7Ⅱ

レンズ
AF-S NIKKOR 24-85mm f/3.5-4.5G ED VRSAMYANG 14mm F2.8 ED AS IF UMC
Ai Nikkor 20mm f/2.8
EF-S15-85mm F3.5-5.6 IS USM
FE 28-70mm F3.5-5.6 OSS

図 5 実験の手順
アンケートの分析ではまず，集計したデータを元に被験者のグループ分けを行った。実験前アンケートで得られた「天体観測の経験について」の回答を元に未経験者，初心者，中級者，上級者の 4 グループに分類した。次にアンケートの記述式設問で得られた記述データを用いてオープンコーディングの手法で分析を行った。須田が提案する手法(10)を元に記述内容を変換し，学びの類型に分類した。最後に分類した記述内容を元に記述者と学びの類型のクロス集計表を作成し，内容についての分析を行った。
学びの類型は，記述内容に合わせて以下の 7 種類を定義した。[評価+]，[評価-]は試作アプリの機能性や有用性についての記述を分類した。[体験+]，[体験-]は天体観測が楽しかった，楽しくなかったという旨の記述を分類した。[理解+]，[理解-]は星座や星が見つけられた，分からなかったという旨の記述を分類した。[願望]は試作アプリの活用方法などについての記述を分類した。

6.

実験結果

本実験では，実験のための天体観測は宿泊を伴わない日帰り形式で実施した。また被験者の送迎の都合のため 3回の日程に分けて観測を行った。観測に参加した金沢工業大学の学生 11 名に対してアンケート調査を実施した。
このうち10 名は金沢工業大学天文部に所属する学生であった。また，1 名は実験前アンケートが未回答であったた
め，この 1 名を除外した 10 名の回答結果を元に分析を行った。
実験前アンケートで天体観測の経験について集計した
結果，10 名のうち未経験者は 2 名，何度か経験がある初心者が 5 名，経験を積んだ中級者が 3 名，上級者は 0 名となった。実験後アンケートではこのグループごとに分析を行った。
まず実験前アンケートで試作アプリを使用しない天体観測の感想を集計したところ，グループによらず天体観測を楽しめたという感想が多く得られた。記述内容を分フィルター
Kenko PRO1D プロソフトン クリア(W)Kenko MC プロソフトン(A)析すると，久しぶりに天体観測を行えたことや，参加したことで天体に関する新たな発見があったことなどが理由として挙げられていた。
次に，実験後アンケートから収集した記述内容の分析を行ったクロス集計表が表 2 である。グループに依らず試作アプリに対する[評価-]が最も記述数が多く，次いで試作アプリに対する[評価+]の記述数が多い結果となった。
その他の類型では[理解+]や[体験+]など肯定的な記述も多く見られた。[評価-]と[評価+]の差が少なかった未経験者のグループでは[理解-]という記述も見られた。
記述の分析をしたところ，[評価-]の記述では試作アプリの処理速度，検出精度，利便性，汎用性，出力動画の情報量不足という 5 点に関した記述に集約された。[評価+]の記述では，視覚的なガイドと実際に撮影した写真の使用に対しての言及が多く見られた。[理解+]や[体験+]では星座や星同士の繋がりを理解できたという記述や星座を見つけやすくなるといった回答が得られた。[理解-]は[評価-]の記述と関連して星座が分かりにくかったという記述が得られた。[願望]ではアプリを今後部活での観望会に活用したいという記述が見られた。代表的な記述例と分類した類型は表 3 の様になっている。
表 2 学びの類型のクロス集計表

表 3 記述例と分類した類型
発話者
A2

A2

B1

B1

B2
C2

C3

設問

テクストのびしろがかなり感じるアプリであった。
その他自由記述
実際に観望会の時などに、活用していきたいと感じた。
しかし、ラベルのついた星座の名前が表示されないので、説明評価できない点 してくれる人がいないと、星座の名 前 を 理 解 でき ない の が デメ
リットだと感じた。
星座の検出ができて星座の位評価できる点 置を確認できるのはすごくいいと思いました。
星座の検出ができた場合に星座線や星座絵などを表示できる改善点ようになると星座をイメージしやすくなると思います。
読み込めていない星もあったの評価できない点 で、そこは悪かった点であるといえる。
やはり解析時間がより早くなると評価できない点使いやすくなると思った。
天体に関する知識が乏しく、星座の区別か分からなかったが、今回のアプリを使用することによ
アプリの感想り、どの場所にどの天体があるから知ることが出来、より天体観測を楽しむことが出来たから

学びの類型
願望

理解-評価+評価-評価評価-体験+ーションの開発とその有用性の検証であった。実験の結果から，試作アプリケーションは改善点が多くあるものの，初心者から中級者の天体観測の体験の質を向上できることが分かった。従って，試作アプリの有用性が確認されたと言える。
アンケートで得られた改善点を基に，アプリケーションの機能向上を図ることが今後の課題である。具体的には以下の 4 点である。1 点目は検出精度と汎用性の向上である。現在の検出精度と検出できる星座の種類を向上させるためにデータセットや学習方法の改良が必要である。
2 点目は処理速度の向上である。処理速度の速いサーバなどを利用したインターネットを介したアプリケーション化を目指す。3 点目は利便性の向上である。ユーザーインターフェースを見直し，操作性を向上させる。4 点目はインターネットを介した処理の実装である。これにより，解析処理速度を向上させる。
これらを実現することで，より多くのユーザーにとって使いやすく，有用な天体観測支援ツールとなることが期待できる。

参考文献
7.

考察とまとめ実験前アンケートの集計結果から，アプリケーションを使用しない従来の天体観測でも参加者が楽しめる体験となったことが分かった。これは参加者の多くが大学で天文部に所属しており，初めから星に対して関心が高かったことが影響していると考えられる。
次に実験後アンケートの結果から，視覚的ガイドに関する[評価+]の記述が多く見られ，DeepLabCut を用いた試作アプリが効果的であることが分かった。従ってこの試作アプリを活用することで，被験者が実際の夜空で星座を特定する際に大いに役立ち，天体観測の学習効果を高めることができる事が分かった。
一方で，[評価-]の記述が多く見られた原因として，試作アプリの機能性が低く，多くの改善点があることがわかった。具体的には，星座の検出精度，試作アプリの処理速度，試作アプリのデザインなどの利便性，検出できる星座の種類が少なかったことによる汎用性の低さ，出力動画の情報量不足の 5 点で改善が必要である。これらの問題を解決するためには，以下の点が今後の課題となる。
星座の検出精度と汎用性の向上には，深層学習モデルの学習の改善とデータセットの拡充が必要である。処理速度の向上には，より高速な処理が可能な環境の構築やインターネットを介した処理の実現が求められる。利便性の向上の観点では，CSS などを活用した見やすいアプリケーションデザインが必要である。利便性の観点では無線接続による利便性向上を指摘する記述も見られた。
しかし，カメラによって無線接続に対応していない機種も多くあるため，有線接続による実行環境での利便性向上が必要である。出力動画の情報量不足の点では，検出した星同士を星座線で結ぶ機能や星の名前を表示する機能の追加が必要である。

8.

おわりに
本研究の目的は，深層学習を用いた星座検出アプリケ(1) 内閣府：“宇宙基本計画”，
https://www8.cao.go.jp/space/plan/keikaku.html．
(2) 井上春香：“日本の中学校・高等学校における宇宙教育の現状と課題”，日本科学教育学会研究会研究報告 Vol.29，2014，
No.3．
(3) Suyao Ji， Jinzhi Wang， Xiaoge Liu：” Constellation Detection”，
Stanford University Tech，
https://web.stanford.edu/class/ee368/Project_Spring_1415/Reports/Ji_Liu_Wang.pdf，(2015)．
(4) takasa5：”stardust”，https://github.com/takasa5/stardust，2024/06/18 参照．
(5) 千代西尾 祐司， 古都 浩朗，竹内 幹蔵：”理科教育における，STEAM 教育教材としての電視観望技術の実践的活用 ―Plate Solving 技術と CMOS カメラを活用した天体観望の運用 ―”，学校教育実践研究 4，pp17-29，(2021)．
(6) 菅波淳之介，坂知樹，鎌田洋：“深層学習を用いた星座の検出手法の検討”，2023 年映像情報メディア学会冬季大会，12B6，(2023)．
(7) Alexander Mathis，Pranav Mamidanna，Kevin M Cury，Taiga Abe，
Venkatesh N Murthy，Mackenzie Weygandt Mathis，Matthias
Bethge：“DeepLabCut: markerless pose estimation of user-defined
body parts with deep learning”，Nature Neuroscience 21，pp.12811289，(2018)．
(8) Armin Ronacher：”Flask”，https://flask.palletsprojects.com/en/3.0.x/，2024/06/25 参照．
(9) Kaiming He，Xiangyu Zhang，Shaoqing Ren，Jian Sun：“DeepResidual Learning for Image Recognition” ， 2016 IEEE
Conference on Computer Vision and Pattern Recognition (CVPR)，
2016， doi: 10.1109/CVPR.2016.90．
(10) 須田 昂宏：”リアクションペーパーの記述内容に基づく学生の学びの可視化 ―大学授業の実態把握のために―”，日本教育工学会論文誌 41(1)，2017，pp13-28．