元治元年(1864年)、再び家老職に就く。