拂袖而去，遭到弹劾，罢官回乡隐居。为官期间，清正廉洁，家境贫寒，家居极其简陋，还得靠友人资助才能勉强度日。宋度宗登基（1265年），诏书特下，重新启用方山京，官复原职。咸淳三年（1267年），以签书建康军节度判官厅公事任秘书省正字，兼任沂靖惠王府教授，后来迁升任校书郎。病重不能上朝，逝世后葬于彭山，今在上虞。