是二位君子，老夫就要成暗劣之人了。”从此柳载以公正闻名。后路嗣恭接替魏少游，以柳载为都团练副使。改祠部员外郎，转司勋郎中，大历十二年（777年），拜袁州刺史。
唐德宗年间.十四年（779年），唐代宗崩，子唐德宗继位。崔祐甫拜相，建中初年荐柳载为谏议大夫。吏部侍郎邵说以才干闻名，有人以为他能做宰相，金吾将军裴儆对柳载说邵说原为叛将史思明、史朝义父子旧臣，掌兵权，前后掳掠名家子女数十人以为婢仆，还抢夺宝货，力屈了才投降，朝廷宥以不死，做官了又厚颜无耻，遑遑求财，装饰府邸，结托权贵以求大