征拜为太子右庶子、迁左散骑常侍。加朝散大夫，又拜左庶子、集贤殿学士。后召回长安迁尚书左丞。建中三年（782年）五月，邵说果然被贬死。六月，柳载以右庶子为尚书右丞。加银青光禄大夫，迁右散骑常侍。四年（783年）正月，宰相关播任用李元平守汝州抵御叛将淮西节度使李希烈，柳载说：“这是衔着玉卖石头啊。去了一定被擒，能抵御什么贼呢？”并举王衍、殷浩华而不实的例子，时人不信，等李元平果然被李希烈生擒，众人才叹服。十月，在长安待命的泾原兵兵变，德宗被迫逃往奉天。柳载全家逃到终南山躲藏，泾原兵推太尉朱泚为首，朱泚很快建