Po zakończeniu kariery w armii, rozpoczął działalność polityczną. Wstąpił do prawicowej partii Likud i zajmował ministerialne stanowiska w rządach tworzonych przez to ugrupowanie w latach 1977–1992 i 1996–1999. W 1983 stworzona przez izraelski rząd tzw. Komisja Kahana orzekła, że Szaron, jako minister obrony w trakcji wojny w Libanie w 1982, ponosi "osobistą odpowiedzialność za zignorowanie niebezpieczeństwa rozlewu krwi i zemsty", do których doszło w wyniku ataku libańskich oddziałów maronickich na palestyńskich cywili znajdujących się w obozach dla uchodźców Sabra i Szatila. Komisja zarekomendowała usunięcie Szarona ze stanowiska ministerialnego. Początkowo odmówił on złożenia rezygnacji, jednak ostatecznie to uczynił.