吴道路，侵略东部，那么事情就没救了。现在应该立刻在淮南侯景以前的军营筑城，打通东路运输，另外命令轻兵打破齐军粮运，令他们前进无法掳掠，后退无法补给，这样齐军将领首级十天可以到手。」陈霸先听从他的建议。南陈永定元年（557年），朝廷除任他为和戎将军、通直散骑常侍，次年（558年）进号轻车将军，很快就加散骑常侍、太子右卫率，轻车将军如故，到天嘉元年（560年）因病辞官。韦载有十余顷田地在江乘县的白山，此时建屋居住，与世隔绝，从不与人来往，十多年不到别人家中。太建年间在家逝世，虚岁五十八。