西晋末期至十六国时期,北方发生大规模战乱,祖冲之的先辈从北方迁徙到南方,祖冲之遂生于南方,其祖父祖昌任刘宋朝大匠卿,是朝廷管理土木工程的官吏,父亲祖朔之做“奉朝请”,学识渊博,常被邀请参加皇室的典礼、宴会。祖冲之从小就受到很好的家庭教育。爷爷给他讲“斗转星移”,父亲领他读经书典籍,家庭的熏陶,耳濡目染,加之自己的勤奋,使他对自然科学和文学、哲学,特别是天文学产生了浓厚的兴趣,在青年时代就有了博学的名声。祖冲之曾在著作中自述说,从很小的时候起便“专功数术,搜烁古今”。他把从上古时起直至他生活的时代止的各种文献、记录、资料,几乎全都搜罗来进行考察。同时,主张决不“虚推古人”,决不把自己束缚在古人陈腐的错误结论之中,并且亲自进行精密的测量和仔细的推算。像他自己所说的那样,每每“亲量圭尺,躬察仪漏,目尽毫厘,心穷筹策”。由于祖冲之博学多才的名声,被南朝宋孝武帝派至当时朝廷的学术研究机关华林学省做研究工作,后来又到总明观任职。当时的总明观是全国最高的科研学术机构,相当于现在的中国科学院。总明观内分设文、史、儒、道、阴阳5门学科,实行分科教授制度,请来各地有名望的学者任教,祖冲之就是其一。在这里,祖冲之接触了大量国家藏书,包括天文、历法、术算方面的书籍,具备了借鉴与拓展的先决条件。