拜光禄勋，后转司隶校尉。次年，镇东将军毌丘俭与扬州刺史文钦在寿春叛乱，王祥随司马师讨伐。战后增食邑四百户，封万岁亭侯，迁任太常。及后魏帝曹髦入读太学，王祥被任命为三老，作为皇帝的老师，教导皇帝为君之道。甘露四年（259年），曹髦试图推翻掌权的大将军司马昭，但被贾充指示成济刺杀，朝臣为皇帝举哀，王祥因而涕泪皆流，号哭着说「老臣无状」，令众人面有惭色。景元元年十二月甲午日（261年2月2日），升任司空，景元五年三月丁丑日（264年4月30日）转任太尉，加侍中。同年，司马昭复建五等爵，王祥封睢陵侯，食邑一千六