他总是借故离去。司徒刘恺再次征辟，说：“卿喜欢轻易放弃官职，爵位不得晋升。今年年底，当选御史，我意在推荐你，你留下等一等吗？”韦豹说：“我年纪老了，精力不济，仰慕您的崇恩，故不能舍得离开。现在眼睛昏花，不堪久等，选荐的美意，非所敢当。”于是光着脚就离去。刘恺追他，他径去不回头。汉安帝西巡，征拜他为议郎。其弟韦义，其子韦着。