遭降诏严斥，左迁内阁学士。调任安徽学政，期间调解定远士子与凤阳胥役争议。擢兵部侍郎，还京，仍直上书房，充经筵讲官。嘉庆十七年（1812年），引病归乡，不久卒，入祀乡贤祠。道光帝即位后，怀念旧师，追赠万承风礼部尚书衔，谥文恪。道光十二年（1832年），晋赠太傅，并加恩任用其子方楙。着有《赓飏集》、《思不辱斋文集》等。