无主见，任令滋扰」的理由被革职并召回北京，接受咸丰帝的当面问询。与咸丰帝对答完毕后，咸丰帝评价他为朴实，但终因言官弹劾势重，被降职为太仆寺少卿。次年（1852年），吏部追查徐继畬在巡抚任内逮捕罪犯延迟一事，徐继畬因此被彻底罢官，回到故里。当时正逢捻军之乱以及同治回乱，徐继畬协助官府率领团练协防辽州、上党、阳城等要地。深受当时兼任山西巡抚的沈桂芬的好评。咸丰六年（1856年）他被平遥超山书院聘为书院山长。同治四年（1865年），徐继畬被重新起用，任总理各国事务衙门行走并管理同文馆。之后又任太仆寺卿，授