咸豐二年，吏部追論繼畬在巡撫任逮送罪人遲誤，請議處，乃罷歸。尋丁母憂。粵匪北犯，攻懷慶，山西巡撫哈芬檄太原總兵烏勒欣泰率兵防澤州，遷延未即赴。賊渡河陷垣曲，哈芬出駐陽城，布政使郭夢齡疏乞援，繼畬亦具疏借布政使印馳奏，上為罷哈芬巡撫，以王慶雲代之。繼畬條舉防守諸事以告，尋奏請令繼畬督辦防堵。事定，居數年，回、捻交亂，又命督率官紳總辦各府州團防。繼畬駐潞安年餘，親歷遼州、上黨、陽城諸要隘，措置詳備，署巡撫沈桂芬甚重之。同治二年，召詣京師，命在總理各國事務衙門行走。尋授太僕寺卿，加二品頂戴。五年，以老疾乞歸。