。另一方面，将军德川家定薨去，正睦由于与德川齐昭在外交问题上意见相左，连带嫌恶其子庆喜，但支持德川庆福继位的多是不为时议所容的开国派人士，为谋通商条约顺利签定，唯有推举庆喜为将军、福井藩主松平庆永为大老，才有可能得到朝廷支持，正睦权衡利弊后，转向支持一桥派。
晚年.然而，就在正睦上洛期间，老中、纪州藩家老等人抢先力挺井伊直弼出任大老，随之庆福正式继位，改名家茂。直弼开始翦除异己，先是将正睦罢黜，而后强令其隐居，正睦的政治生涯就此断绝，此后三年，亦即樱田门之变后的文久2年（1862