王绥少年时有美好的名声，但实际上是无行之人。他是桓玄的外甥，很被宠待。王恭、殷仲堪反晋，其父王愉被俘，存亡不知。王绥在建康忧形于色，居处饮食，每事贬降，人称他为“试守孝子”。后来担任太尉桓玄的右长史。晋安帝元兴二年（403年），桓玄篡位称帝，王绥为中书令。刘裕起兵，讨桓玄，以王绥为冠军将军。转任荆州刺史。王愉为桓氏之婿，王愉、王绥父子宠贵，又曾经轻侮刘裕，心中不安。王愉谋叛，事情泄露，刘裕以谋反罪将王愉、王绥父子诛杀。