大明五年(461年),祖冲之担任南徐州(今江苏镇江)刺史府里的从事,先后任南徐州从事吏、公府参军。祖冲之在这一段期间,虽然生活很不安定,但是仍然继续坚持学术研究,并且取得了很大的成就。大明六年(462年),祖冲之把精心编成的《大明历》送给宋孝武帝请求公布实行,宋孝武帝命令懂得历法的官员对这部历法的优劣进行讨论,最终,宋孝武帝决定在大明九年(465年)改行新历。大明八年(464年),祖冲之被调到娄县(今江苏昆山县东北)作县令。之后又到建康(今江苏南京),担任谒者仆射的官职。从这时起,一直到南朝齐初年,他花了较大的精力来研究机械制造,重造出了用铜制机件传动的指南车,发明了一天能走百里的“千里船”、水碓磨(利用水力加工粮食的工具),还设计制造过漏壶(古代计时器)和巧妙的欹器。祖冲之的晚年,正值南齐后期,统治阶级内部矛盾尖锐,政治黑暗,社会动荡不安。在这种情况下,祖冲之的研究方向有了很大的变化。他着重研究文学和社会科学,同时也比较关心政治。隆昌元年(494年)到建武五年(498年)之间,他担任长水校尉的官职。当时他写了一篇《安边论》,建议政府开垦荒地,发展农业,增强国力,安定民生,巩固国防。齐明帝看到后想令他“巡行四方,兴造大业,可以利百姓者”,后因南齐的统治已经无法再维持下去。国家政权摇摇欲坠,再加上南北朝之间的连年战争,祖冲之良好的政治主张无法在国家内部施行,更无法实现了。永元二年(500年),这位卓越的大科学家去世,享年七十二岁。