咸丰帝
道光三十年（1850年），因为在福州发生的神光寺事件中处理事件的方法与当时在福州养病的林则徐以及其他一些官僚的意见不合，多次被言官弹劾。咸丰元年（1851年），徐繼畬因为「身膺疆寄，抚驭之道，岂竟毫无主见，任令滋扰」的理由被革职并召回北京，接受咸丰帝的当面问询。与咸丰帝对答完毕后，咸丰帝评价他为朴实，但终因言官弹劾势重，被降职为太仆寺少卿。