所領を失ったため、明治3年(1869年)2月に江戸へ戻ったが、すでに江戸屋敷は接収されて大隈重信の屋敷となっていたため、以後は新政府から与えられた代替屋敷に居住した。