天保の改革に失敗した幕府老中首座の水野忠邦が失脚し、弘化3年(1846年)に新たな主君の水野忠精が移封となり、浜松から山形に移住した。