Tras su retiro forzoso, fundó un partido propio, Shlomtzión, que intentó fusionar tanto con el Partido Laborista (de izquierdas) como con el Shinui (centrista), al tiempo que desempeñaba el cargo de asesor de seguridad en el primer gobierno de Isaac Rabin. Tras el fracaso de estas dos uniones, se presenta en coalición con el Likud de Menájem Beguin, formando el primer gobierno conservador de la historia de Israel, durante el cual llegó a ser ministro de Agricultura y presidente de la Comisión Ministerial sobre los asentamientos, cargo desde el cual se haría famoso por su defensa de los derechos de los colonos israelíes. En 1981 cambió dicho cargo por el de ministro de Defensa, que ocupaba cuando en 1982 estalló la Guerra del Líbano.