，十八岁为南朝宋秘书郎，尚宋明帝女阳羡公主，拜驸马都尉，宋后废帝暴虐，王俭自请出补义兴郡太守。后任太子舍人、秘书丞，官至侍中。萧道成知道王俭非同寻常，当他任太尉时，便引王俭为右长史，对王俭恩礼倍加，视为心腹加以重用。后来又转任王俭为左长史。后王俭辅萧道成受禅为齐高帝，迁尚书右仆射，领吏部，封南昌县开国公，时年二十八岁。他善于礼仪典章，齐朝初创，一切典章制度都由他负责制定。转任尚书左仆射，兼任太子詹事。齐高帝驾崩，遗诏授侍中、尚书令、镇军将军。齐武帝永明二年（484年）兼任丹阳尹，永明三年（485年）