观城）人，祖籍广平易阳（河北临洺）。父刘林甫，唐高祖武德年间官中书舍人、中书侍郎，贞观初年赐爵乐平县男，迁任吏部侍郎。贞观三年（629年）刘林甫病逝后，祥道袭父爵。高宗永徽年间，历任中书舍人、御史中丞、吏部侍郎，显庆二年（657年）迁黄门侍郎，仍掌管吏部选事。显庆三年（658年）进封阳城县侯。显庆四年（659年），升任刑部尚书，龙朔元年（661年），权检校蒲州刺史。龙朔三年（663年），司刑太常伯（即刑部尚书）兼检校雍州长史，四月右相李义府下狱，刘祥道接任右相。他生性谨慎，不愿为相，多次以年老多病请求退