徽年间，历任中书舍人、御史中丞、吏部侍郎，显庆二年（657年）迁黄门侍郎，仍掌管吏部选事。显庆三年（658年）进封阳城县侯。显庆四年（659年），升任刑部尚书，龙朔元年（661年），权检校蒲州刺史。龙朔三年（663年），司刑太常伯（即刑部尚书）兼检校雍州长史，四月右相李义府下狱，刘祥道接任右相。他生性谨慎，不愿为相，多次以年老多病请求退居闲职。次年（664年）转任司礼太常伯，罢知政事。麟德二年（665年），随高宗封禅泰山，担任终献，事后进爵广平郡公。曾提拔王勃。干封元年（666年）又上表乞骸骨，加金紫光