如何進一步擴大和優化天文學專用LLM的SFT數據集,以提升其在指令跟隨能力上的性能?
為了進一步擴大和優化天文學專用LLM的SFT（專門微調）數據集，可以考慮以下幾個策略：
增加數據集的規模：目前的SFT數據集相對較小，僅包含約30,000個問答對。為了提升模型的指令跟隨能力，應該擴展數據集至數百萬個問答對，這可以通過從各種天文學文獻中提取問題和答案來實現，例如期刊文章、會議論文和教科書。
多樣化數據來源：除了使用arXiv的astro-ph類別文獻外，還可以考慮整合其他天文學相關的資料來源，如NASA的公開數據集、天文學教科書、科普文章和在線課程資料。這樣可以確保模型接觸到更廣泛的知識範疇，從而提高其在不同情境下的表現。
強調高質量的問答對：在擴展數據集的同時，應確保問答對的質量。可以通過專家審核來篩選問題，確保它們的準確性和相關性。此外，應該設計問題以涵蓋不同的難度級別，從基礎知識到高級推理，這樣可以幫助模型在各種情境下進行有效的推理。
引入上下文信息：在SFT過程中，提供問題的上下文信息可以幫助模型更好地理解問題的背景，從而提高其回答的準確性。這可以通過將相關的文獻摘錄或摘要與問題一起提供來實現。
持續更新數據集：天文學是一個快速發展的領域，新的研究和發現不斷出現。因此，應定期更新SFT數據集，以納入最新的研究成果和知識，確保模型的知識庫保持最新。