三年（549年），柳仲礼率领援军救援建康，到达长江南岸，王质纠合部队再随柳仲礼。建康失陷，王质逃到江陵，在梁元帝属下担任右长史，兼河东郡太守。后为侍中。出任持节、都督吴州诸军事、宁远将军、吴州刺史，兼鄱阳郡内史。承圣三年（554年），江陵被西魏攻陷，侯瑱屯驻湓城，他和王质不和，派遣偏将羊亮取代王质。王质率部下依附留异。陈蒨屯驻会稽郡、出兵帮助王质，让他屯驻信安县。永定二年（558年），王质奉陈武帝陈霸先之命率部下进入豫章，在都督周文育部下讨伐王琳。王质和王琳关系不错，有人诬告王质秘密联络王琳。陈霸先