Ersten vor-militärischen Unterricht hatte Rabin seit dem Jahre 1935, als er in Giwat HaSchloscha zur Schule ging, erhalten. In Kadoorie war Jigal Allon für die militärische Ausbildung verantwortlich. 1941 wurde er im Kibbuz Ramat Jochanan für den neu gegründeten Palmach, eine Eliteeinheit der Hagana, einer der damaligen zionistischen Untergrundorganisationen, die nach 1948 in die israelischen Streitkräfte (Tzahal) überging, rekrutiert. Im Jahre 1941 nahm er, als Angehöriger der britischen Armee, am Syrisch-Libanesischen Feldzug teil. 1945 wurde er stellvertretender Befehlshaber der Palmach-Einheiten, die gegen die britischen Mandatstruppen kämpften. Hier war er etwa bei der Befreiung von Holocaust-Überlebenden beteiligt, die von den Briten in Lagern unter anderem auf Zypern interniert wurden. Leah Rabin beschreibt in ihrem Buch "Ich gehe weiter auf seinem Weg" die Auswirkungen des britischen Weißbuchs von 1939: