В 1991 количество жертв терактов было рекордным со времён Войны за независимость — 101 человек. В результате этого, а также в результате согласия на участие в Мадридской конференции, против которой выступали его сторонники «справа», Шамир потерял поддержку избирателей, и партия Авода во главе с Ицхаком Рабином пришла к власти. Через день после выборов Ицхак Шамир объявил о своей отставке с должности лидера Ликуда и вернулся в Тель-Авив. В 1996 г. покинул Кнессет и вышел на пенсию, однако продолжал изредка давать интервью и проявлять политическую активность.