Năm 1941, trong khi được huấn luyện thực tập tại kibbutz Ramat Yohanan, Rabin gia nhập nhánhPalmach của Haganah, dưới ảnh hưởng của Yigal Allon. Chiến dịch đầu tiên ông tham gia là hỗ trợ cuộc xâm lược Liban của Đồng Minh, khi ấy do các lực lượng Vichy Pháp kiểm soát (cũng trong chiến dịch này Moshe Dayan mất một mắt) vào tháng 6 tháng 7 năm 1941. Sau khi chiến tranh chấm dứt mối quan hệ giữa Palmach và chính quyền Anh trở nên căng thẳng, đặc biệt với sự đối xử với cuộc di cư Do Thái. Tháng 10 năm 1945 Rabin chịu trách nhiệm lập kế hoạch và sau này đã thành công trong việc thực hiện một chiến dịch giải phóng những người di cư đang bị giam tại trại giam giữ Atlit cho những người Do Thái di cư bất hợp pháp. Trong Black Shabbat, một chiến dịch lớn của Anh chống lại các lãnh đạo Tổ chức Do Thái tại Vùng đất Israel, Rabin đã bị bắt và giam cầm trong năm tháng. Sau khi được thả ông trở thành chỉ huy của tiểu đoàn Palmach thứ hai và lên nắm chức vụ Sĩ quan Chỉ huy Chiến dịch của Palmach tháng 10 năm 1947.