而，就在正睦上洛期间，老中、纪州藩家老等人抢先力挺井伊直弼出任大老，随之庆福正式继位，改名家茂。直弼开始翦除异己，先是将正睦罢黜，而后强令其隐居，正睦的政治生涯就此断绝，此后三年，亦即樱田门之变后的文久2年（1862年），回到领国继续蛰居，元治元年（1864年）死去，年55岁。其子在明治维新后被授予伯爵。