先祖籍浙江余姚，出自泗门双桥杨氏，早年受荫官为新安所千户。崇祯十年（1637年），将卫所千户位让与其弟杨光弼，以布衣身份抬棺死劾大学士温体仁和给事中陈启新，遭廷杖后流放辽东。不久，温体仁倒台，杨光先得以赦免回乡。清兵入关之后，顺治帝任用天主教传教士汤若望为第一任钦天监监正，南怀仁为其助理。他们依照天主教教廷理论及西洋天文学制定新历法，主张地圆说，太阳绕地球运转，地球大、太阳小，杨光先对此表示怀疑，批评西洋历法误以顺治十八年闰十月为闰七月。后因天主教徒李祖白的着作《天学传概》提出中华文化西来说，引发杨光先