柔年少时父母双亡，为叔母所抚养，叔母抚养对待他比亲生儿子还要好。卢柔尽心孝顺叔母，也同对待亲生母亲一样，同族的人都赞叹看重他。卢柔个性聪明机敏，喜好学习，没到二十岁就懂得撰写文章，但是口吃不能发表口头议论，很因为借着酒意放纵不拘，被世人讥笑。司徒、临淮王元彧见到卢柔而器重他，把女儿嫁给他。到魏孝武帝元修与高欢有矛盾时，魏孝武帝下诏贺拔胜出任荆州刺史，卢柔认为因此可以建立功绩，于是跟着贺拔胜前往荆州，贺拔胜以卢柔担任大行台郎中，掌书记。军中的机密事务，卢柔大多参与。贺拔胜担任太保后，以卢柔为属官，加号冠军