持不接受任命，但弟弟王览劝他应命，更为他准备牛车，王祥于是答应，吕虔亦将徐州的民事事务交给他处理。当时盗贼充斥在州境内，王祥鼓励兵士，频频派兵讨伐盗贼，最终使州内安定，亦便利了政策和教化的推行。当地的人都称颂王祥。王祥后来举茂才，任温县县令，后迁任大司农。正元元年（254年），高贵乡公曹髦即位，因参与司马师废立的计划而获封关内侯，官拜光禄勋，后转司隶校尉。次年，镇东将军毌丘俭与扬州刺史文钦在寿春叛乱，王祥随司马师讨伐。战后增食邑四百户，封万岁亭侯，迁任太常。及后魏帝曹髦入读太学，王祥被任命为三老，作为皇