父柳庆休，渤海郡县丞。后赠蔡州刺史、工部尚书。柳载父柳庆休早卒。他好学，但因父亲早亡而贫穷。十多岁时，有巫者告之：“你相貌早夭且贱，做和尚可缓死，禄位不是你的事。”叔伯们想从其言，柳浑说：“抛弃圣教，行异术，不如速死。”更加好学，与名士们同游。唐玄宗开元年间中汝州进士，礼部侍郎韦陟以为异，录为上第。授宋州单父尉。加云骑尉。
唐肃宗年间.唐肃宗至德年间（756年-758年），江西采访使皇甫侁闻柳载之名，辟为判官，守永丰令。有能名，被表为洪州丰城令。累除衢州司马，未就职，弃官归隐武