祖父韦赏，汉哀帝时为大司马。韦彪孝行纯正，父母去世，伤心守丧三年，不出庐寝。服丧期满，瘦得不成样子，医疗了多年才治好。好学博闻，被时人誉为儒者之宗。建武末年，被推举为孝廉，任命为郎中。因病去职，回家教授学生。安贫乐道，淡泊功名，三辅的儒生无不仰慕。汉明帝听说韦彪之名，永平六年（63年），召拜韦彪为谒者，赐给他车马衣服，三次升迁为魏郡太守。汉章帝即位，因病免官。征拜为左中郎将、长乐卫尉，多次陈说政术，以宽厚为建议。后来上疏请求退休，拜为奉车都尉，官秩为中二千石，受到恩宠赏赐，像皇帝的亲戚一样。建初七年