等到魏孝武帝西入关中，东魏派遣侯景袭击穰城，贺拔胜战败，就向南投奔南梁，卢柔也跟着而去。贺拔胜多次上表请求回到北方，梁武帝萧衍看了表文，赞美他的文采，后来知道是卢柔所撰，就派遣舍人慰劳存问卢柔，并送给丝绸锦缎。卢柔后来与贺拔胜一起返回北方，梁武帝亲自在南苑为他们送行，一行人行进到襄阳，高欢害怕贺拔胜西入关中，派遣侯景率领轻骑拦截他们。贺拔胜和卢柔害怕，就舍弃船只爬山而走，带着干粮冒险行经数百里。当时恰逢秋雨，同行的人又冻又饿，死了一大半。到了丰阳地界，卢柔迷失道路，独自在枯树下过夜，寒雨打湿了衣服，几乎要