Den var tenkt som erstatter til stridsvognen M4 Sherman, som viste seg lite effektiv i forhold til de tyske stridsvognene med bedre kanoner og pansring. Så snart serieproduksjonen av M4 Sherman var i gang begynte det amerikanske forsvaret å lete etter en etterfølger. Konstrueringen av den nye stridsvognen viste seg å bli ganske komplisert da kravene til kjøretøyet endret seg hele tiden. Først etter Ardenneroffensiven på slutten av 1944 bekreftet at man trengte en større stridsvogn som kunne hamle opp med de tyske overlegne stridsvognene. Ved krigens slutt var bare 310 M26 Pershing-stridsvogner ankommet Europa, og av disse var det bare et fåtall som kom i strid. På grunn av sin sene ankomst fikk den derfor lite å si for utfallet av krigen. Den var USAs hovedstridsvogn frem til den ble faset ut til fordel for M48 Patton, som kom i løpet av Koreakrigen.