战争中，刘伯承因为与博古、李德等人的意见相左，而被降为红五军团参谋长。1934年10月，中央红军开始长征。长征初期，刘伯承协助军团长董振堂执行后卫任务。12月，刘伯承复任中央革命军事委员会总参谋长，兼任中央纵队司令员。1935年1月，指挥先遣部队突破乌江，攻取遵义，随后参与遵义会议。此后指挥了强渡金沙江等战斗。5月，刘伯承兼任红军先遣队司令，同政治委员聂荣臻率部进入大凉山，与彝族沽基族首领果基约达（小叶丹）在袁居海子（今冕宁县彝海子）结为兄弟，使全军顺利通过彝族聚居区。继而指挥所部在安顺场强渡大渡河。1