义府下狱，刘祥道接任右相。他生性谨慎，不愿为相，多次以年老多病请求退居闲职。次年（664年）转任司礼太常伯，罢知政事。麟德二年（665年），随高宗封禅泰山，担任终献，事后进爵广平郡公。曾提拔王勃。干封元年（666年）又上表乞骸骨，加金紫光禄大夫，让他致仕，不久病卒，年七十一。赠幽州都督，谥号宣。其子刘齐贤后来也担任宰相。另有子刘广礼。