76年12月的安息日，他组织部分军官和内阁成员迎接4架美国F-15战机的到来，触怒了以色列的宗教政党；他的夫人，利亚·拉宾的存在银行的基金违反了以色列法律被曝光。拉宾为夫人付出了代价。
反对派成员和国防部长.拉宾被迫辞职后，希蒙·佩雷斯代理总理一职，两个月后，利库德集团的梅纳赫姆·贝京当选，接替了他的职务，这结束工党三十年执政，利库德集团从此在往后十五年的联合政府佔有主导地位。拉宾此次辞职广受好评，人们认为拉宾此举体现了正直和责任感。1984年至1990年间，工党和利库德集团共