В 1991 кількість жертв терактів було рекордним з часів Війни за незалежність — 101 осіба. В результаті цього, а також в результаті згоди на участь в Мадридської конференції, проти якої виступали його прихильники, Шамір втратив підтримку виборців, і партія Авода на чолі з Іцхаком Рабином прийшла до влади. Через день після виборів Іцхак Шамір оголосив про свою відставку з посади лідера Лікуду і повернувся в Тель-Авів. В 1996 р. покинув Кнесет і вийшов на пенсію, однак продовжував зрідка давати інтерв'ю і проявляти політичну активність.