在福州发生的神光寺事件中处理事件的方法与当时在福州养病的林则徐以及其他一些官僚的意见不合，多次被言官弹劾。咸丰元年（1851年），徐继畬因为「身膺疆寄，抚驭之道，岂竟毫无主见，任令滋扰」的理由被革职并召回北京，接受咸丰帝的当面问询。与咸丰帝对答完毕后，咸丰帝评价他为朴实，但终因言官弹劾势重，被降职为太仆寺少卿。次年（1852年），吏部追查徐继畬在巡抚任内逮捕罪犯延迟一事，徐继畬因此被彻底罢官，回到故里。当时正逢捻军之乱以及同治回乱，徐继畬协助官府率领团练协防辽州、上党、阳城等要地。深受当时兼任山西巡