于天津，出自天津望族寿岂堂徐氏，祖籍浙江宁波鄞县。是徐世昌之弟，小徐世昌二岁。父亲徐嘉贤，在二十五岁就因病亡故。由母亲刘氏抚养成人。光绪八年（1882年），赴京师乡试，考得95名举人。同年，徐世昌与世光同赴乡试，得145名举人。乡试前，二徐曾赴京师琉璃厂吕祖庙求签，得“光前裕后，昌大其门庭”，而乡试结果得应验，世光排名在前，世昌排名在后。但后来世光屡试不第，而世昌在光绪丙戌科（1886年）登进士第，也应验了签书。世光于光绪十二年（1886年）捐官同知，分发山东，授知府衔。与袁世凯亲和。袁担任山东巡抚