Năm Thiên Bình thứ 4 (537), ông theo Cao Hoan đánh Tây Ngụy, giao chiến với Vũ Văn Thái ở Sa Uyển. Cao Hoan muốn trì hoãn, Nhạc hăng hái xin quyết chiến, nói: "Ta nhiều giặc ít, trăm người bắt một, thì không thể thua được!", Cao Hoan nghe theo. Nhạc trong lúc say rượu vào sâu trận địch, bị đâm ở bụng, nhịn đau tiếp tục chiến đấu, trên người có mấy vết thương, quân đội tan rã, buộc phải lui về. Cao Hoan thường nhắc lại chuyện này để răn ông.