Перес вновь возглавил список партии Труда к выборам 1981 года, но вновь потерпел (на этот раз неожиданное) поражение и продолжил ещё 3 года лидером парламентской оппозиции. На фоне неудач второго правительства правоцентристов из Ликудa, Перес и Авода были фаворитами на выборах 1984 года, но, несмотря на это, выборы закончились без явной победы одному из блоков, и осенью 1984 Шимон Перес стал премьер-министром в правительстве национального единства (14 сентября 1984 года—20 октября 1986 года). Кроме того, до декабря 1984 года он занимал должности министра по вопросам религии и министра внутренних дел. За короткий период пребывания на этих постах он добился вывода войск из Ливана и способствовал внутриполитической стабилизации страны. Следующие два года, согласно принципу ротации в правительстве национального единства, Перес занимал должности вице-премьера коалиционного кабинета — министра иностранных дел (октябрь 1986 года — декабрь 1988 года).