嫡母刘英娥则因诅咒宋孝武帝一事暴病而亡，因此为叔父王僧虔所养。几年后，袭爵豫宁侯，王俭自幼好学，手不释卷。丹阳尹袁粲闻其名，十八岁为南朝宋秘书郎，尚宋明帝女阳羡公主，拜驸马都尉，宋后废帝暴虐，王俭自请出补义兴郡太守。后任太子舍人、秘书丞，官至侍中。萧道成知道王俭非同寻常，当他任太尉时，便引王俭为右长史，对王俭恩礼倍加，视为心腹加以重用。后来又转任王俭为左长史。后王俭辅萧道成受禅为齐高帝，迁尚书右仆射，领吏部，封南昌县开国公，时年二十八岁。他善于礼仪典章，齐朝初创，一切典章制度都由他负责制定。转任尚书左仆