王俭被叔叔王僧虔抚养，聪明好学。袁粲听闻王俭之名，对宋明帝称赞他：「宰相之门也。栝柏豫章虽小，已有栋梁气矣，终当任人家国事。」宋明帝将女儿阳羡公主嫁给了他，王俭在南齐官至尚书左仆射、侍中、尚书令、中书监、太尉，其子王骞、王暕，王骞的女儿是梁简文帝的皇后王灵宾。