5岁时参加童子试，成绩优异，声震家乡。但随后屡次考试均不中，直到咸淳六年（1270年）参加乡试获得第五名，次年赴京都临安(今浙江省杭州市)参加殿试获得第一。初时授秘书省正字，升校书郎，因与奸臣贾似道不和，德祐元年（1275年）外放为婺州（今浙江省金华市）通判。后来元军逼近临安，弃城逃往家乡照料双亲而被罢官。次年宋端宗登基，其航海至福建、广东一带，重新集结广州附近的海上溃军，与广州都统凌震结集部队分东西两路，誓图收复广州。12月，处于流亡状态端宗到达惠州授以龙图阁待制、广东制置使兼经略按抚，统领广东军政大权。