少年时即好学，在路上遇见高人，便请求与其同行，并用车载送，以方便探讨学问。对贫贱之人，更加有礼。后任常侍骑，不久以明经擢谏大夫，再迁大河都尉，历官淮阳中尉、太常少府、太子太傅、御史大夫等职。官至丞相。父子皆拜相，当时邹鲁流传着“遗子黄金满箩，不如一经”的谚语。永光三年（前41年）六月甲辰，韦玄成去世。