しかし、慶応3年(1867年)に実美が罪を許され帰京したことで家督を返上した。