不久外调任使持节、南蛮校尉，加征虏将军，但因荆州刺史、南郡王刘义宣想留任，不肯解任南蛮校尉，故王僧达未能成行，改任护军将军。但王僧达自以才能和地位乃是当时无人能及，且在刘骏即位不久就任尚书仆射要职，故此就望一两年间就身居宰相，更曾答诏称：「亡父亡祖，司徒司空。」但任护军将军后就很不得志，于是自求徐州刺史，但不获允许。王僧达再三陈请，更令孝武帝不悦，于是调任征虏将军、吴郡太守。至此王僧达一年中就已经五度迁官，而今外任，更感不得意。吴郡西台寺有很多有钱的僧人，王僧达因他们未能满足自己的需索，于是派主簿顾旷去