Po odchodu z armády vstoupil do Liberální strany v rámci pravicového uskupení Gachal a posléze se svou stranou Šlomcijon zakotvil v nejsilnější pravicové straně Likud (nástupce Gachalu). V 70. až 90. letech zastával pět různých ministerských postů v izraelské vládě, z nichž vždy podporoval výstavbu a rozvoj izraelských osad na Západním břehu Jordánu a v Pásmu Gazy. Jednou z vládních pozic byl i post ministra obrany, v němž působil během první libanonské války. Po válce jej Kahanova komise, ustanovená izraelskou vládou, shledala nepřímo odpovědným za masakr civilistů v uprchlických táborech v Sabře a Šatíle, který provedly libanonské křesťanské milice. Komise doporučila Šaronův odchod z pozice ministra obrany a Šaron nakonec, i přes svůj počáteční odpor, rezignoval. V roce 2001 vystřídal Ehuda Baraka ve funkci izraelského premiéra. Jeho vládu ovlivnila probíhající druhá intifáda, provázená palestinskými sebevražednými útoky. V rámci snah o mírové řešení izraelsko-palestinského konfliktu v roce 2004 oznámil svůj plán na jednostranné opuštění osad v Pásmu Gazy. Tento záměr způsobil rozkol v jeho straně Likud, kterou v listopadu 2005 opustil, aby s politiky z dalších stran založil novou centristickou stranu Kadima. Několik měsíců před předčasnými parlamentními volbami, které vypsal a jejichž byl jasným favoritem, utrpěl sérii cévních mozkových příhod. Po poslední z nich, kterou prodělal počátkem ledna 2006, byl až do své smrti v lednu 2014 v perzistentním vegetativním stavu.