1941년에 유대인 방위 특공대인 팔마츠에 입대하였다. 팔마츠에 입대한 라빈은 시리아와 레바논에서 비시 프랑스에 맞서 싸웠으며 1947년 팔마츠의 부사령관이 되었다. 이스라엘 독립전쟁 당시에 정전협정 대표 가운데 한 사람으로 참석하여 이스라엘의 독립에 기여했다. 1964년부터 1967년까지 이스라엘 육군을 지휘하여 적의 항공기를 파괴하자는 작전으로 6일 전쟁의 승리를 이루어 가자 지구의 아랍인 거주 지역들과 요르단 강 서안 지구를 점령하였다.