持德川庆福继位的多是不为时议所容的开国派人士，为谋通商条约顺利签定，唯有推举庆喜为将军、福井藩主松平庆永为大老，才有可能得到朝廷支持，正睦权衡利弊后，转向支持一桥派。
晚年.然而，就在正睦上洛期间，老中、纪州藩家老等人抢先力挺井伊直弼出任大老，随之庆福正式继位，改名家茂。直弼开始翦除异己，先是将正睦罢黜，而后强令其隐居，正睦的政治生涯就此断绝，此后三年，亦即樱田门之变后的文久2年（1862年），回到领国继续蛰居，元治元年（1864年）死去，年55岁。其子在明治维新后被授予伯爵。