府仪同三司、永昌严公；父亲韦正则是黄门侍郎。韦载年少聪明，专一心志地学习，十二岁时跟着叔父韦稜与沛国刘显见面，刘显问韦载十种关于《汉书》的事，他回答不曾迟疑。长大后他涉猎文学与史学，沉着聪慧有才学，自邵陵王萧纶的法曹参军起家，迁任太子舍人、尚书三公郎。侯景之乱，梁元帝承制人用他为中书侍郎，转官建威将军、寻阳太守，随同都督王僧辩东征侯景。其时王僧辩军队在湓城，鲁悉达、樊俊等人各自拥兵坐镇，观望成败。梁元帝遣派韦载为假节、都督太原高唐新蔡三郡诸军事、高唐太守，同时仍受命劝喻鲁悉达等人出兵讨伐侯景。及后大军东下，