置七官之职。王祥与何曾和郑沖等人因为年老，很少再上朝朝见，司马炎于是派侍中任恺询问他们对政策的意见。王祥多次要求辞官退休，但都被拒绝；御史中丞侯史光因王祥长期因病缺席朝议，要求将他罢免，但司马炎称他仍然倚重和欣赏他，而且他亦多次乞求退休，负责监察百官的御史台不应有这个议题。其后王祥再次要求退休，司马炎于是下令王祥在府第中留职和俸禄，又赐多项物品和任命长子王肇为给事中。泰始四年四月戊戌日（268年4月30日），王祥逝世，享年八十五岁。翌年谥为睢陵元公。