徐州刺史，但不获允许。王僧达再三陈请，更令孝武帝不悦，于是调任征虏将军、吴郡太守。至此王僧达一年中就已经五度迁官，而今外任，更感不得意。吴郡西台寺有很多有钱的僧人，王僧达因他们未能满足自己的需索，于是派主簿顾旷去劫略西台寺的僧人竺法瑶，得了数百万钱。孝建元年（454年），王僧达因刘义宣等叛变而加置佐领兵，原本下令置兵一千人，但王僧达却置兵三十队，每队八十人，超出限额。他又在吴郡建宅，以朝廷名义动用了不少人力。王僧达因着种种行为而遭免官。昔日王僧达为太子洗马时留在东宫，但心中却想着军人朱灵宝。在任宣城太守