永定元年（557年），朝廷除任他为和戎将军、通直散骑常侍，次年（558年）进号轻车将军，很快就加散骑常侍、太子右卫率，轻车将军如故，到天嘉元年（560年）因病辞官。韦载有十余顷田地在江乘县的白山，此时建屋居住，与世隔绝，从不与人来往，十多年不到别人家中。太建年间在家逝世，虚岁五十八。