父韦公循是刘宋义阳郡太守，父亲韦义正很早就去世。韦爱沉静有器量，年幼失去父亲后侍奉母亲以孝顺闻名，个性清高耿直，不随便交往，专心好学，总是独坐陋室，一心攻读古书，屋内桌椅结满灰尘，寂静的像是没有人一样。韦爱虚岁十二时，曾经去京城建康游玩，正赶上皇帝到南苑出游，大街小巷热闹非凡，男女老幼争相观看，唯独韦爱端坐读书，手不释卷，京兆韦氏的族人看见他这样，无不惊异。韦爱长大成人后，博学有文才，尤其精通《周易》和《春秋左氏传》的义理。袁顗出任雍州刺史时，征召韦爱担任主簿。韦爱遇到母亲去世，他在墓旁搭建小屋，亲