，朝臣为皇帝举哀，王祥因而涕泪皆流，号哭着说「老臣无状」，令众人面有惭色。景元元年十二月甲午日（261年2月2日），升任司空，景元五年三月丁丑日（264年4月30日）转任太尉，加侍中。同年，司马昭复建五等爵，王祥封睢陵侯，食邑一千六百户。次年，晋王司马炎称帝，建立西晋，王祥作太保，进封睢陵公，加置七官之职。王祥与何曾和郑沖等人因为年老，很少再上朝朝见，司马炎于是派侍中任恺询问他们对政策的意见。王祥多次要求辞官退休，但都被拒绝；御史中丞侯史光因王祥长期因病缺席朝议，要求将他罢免，但司马炎称他仍然倚重和欣赏