その後は後継の茂久にも引き続き仕え、安政6年(1859年)には御軍役掛に就任したが、文久3年(1865年)家老職を辞した。