后，以卢柔为属官，加号冠军将军。魏孝武帝后来征召贺拔胜率领军队前往洛阳，贺拔胜询问卢柔的意见，卢柔说：“高欢依托晋阳的军队，心意实在难以了解。您应该席卷军力前往京城，与高欢决一胜负，不顾存亡，这是忠的上策。如果北面阻隔鲁阳郡，向南吞并旧日的楚地，向东连接兖州和豫州，向西连接关中，领兵十万，伺机而动，也是中策。拿着三荆的土地，与南梁通和言好，自身可以免于祸难，只是功业名声就没了，这是下策。”贺拔胜轻视卢柔年轻，笑而不回答。等到魏孝武帝西入关中，东魏派遣侯景袭击穰城，贺拔胜战败，就向南投奔南梁，卢柔也跟着而