然而还未上任，就被改授福建巡抚。当时正值闽浙总督刘韵珂因病乞假，徐继畬便代理闽浙总督，和外国人交往加密，了解到很多国外的各种情报，为此后编着《瀛寰志略》打下基础。道光三十年（1850年），因为在福州发生的神光寺事件中处理事件的方法与当时在福州养病的林则徐以及其他一些官僚的意见不合，多次被言官弹劾。咸丰元年（1851年），徐继畬因为「身膺疆寄，抚驭之道，岂竟毫无主见，任令滋扰」的理由被革职并召回北京，接受咸丰帝的当面问询。与咸丰帝对答完毕后，咸丰帝评价他为朴实，但终因言官弹劾势重，被降职为太仆寺少卿。