见不合，多次被言官弹劾。咸丰元年（1851年），徐继畬因为「身膺疆寄，抚驭之道，岂竟毫无主见，任令滋扰」的理由被革职并召回北京，接受咸丰帝的当面问询。与咸丰帝对答完毕后，咸丰帝评价他为朴实，但终因言官弹劾势重，被降职为太仆寺少卿。次年（1852年），吏部追查徐继畬在巡抚任内逮捕罪犯延迟一事，徐继畬因此被彻底罢官，回到故里。当时正逢捻军之乱以及同治回乱，徐继畬协助官府率领团练协防辽州、上党、阳城等要地。深受当时兼任山西巡抚的沈桂芬的好评。咸丰六年（1856年）他被平遥超山书院聘为书院山长。同治四年（1