部正弘在《神奈川条约》签订后，再度任他为老中，之后更将首座之位相让，并身兼外国挂一职。次年，笃姬嫁进将军家，正笃为避讳，易名正睦。安政5年（1858年），正睦遣下田奉行、目付与美国驻日公使汤森·哈里斯拟定美日修好通商条约，正睦为得孝明天皇敕许，乃携条约上洛，但因条约内容给予美国极大的便利，激起攘夷派公卿（如、岩仓具视等）杯葛，最终正睦被迫去职，条约被驳回，此即「廷臣八十八卿列参事件」。另一方面，将军德川家定薨去，正睦由于与德川齐昭在外交问题上意见相左，连带嫌恶其子庆喜，但支持德川庆福继位的多是不为时议所