Sledge meldde zich in december 1942 aan bij de United States Marine Corps. Als mortierman van King Company, 3rd Battalion, 5th Marines, 1st Marine Division nam hij deel aan de Slag om Peleliu en de Slag om Okinawa. Na de capitulatie van Japan in augustus 1945 bleef Sledge nog enige maanden in Oost-Azië als onderdeel van de Amerikaanse bezettingsmacht en hij was gestationeerd in Beijing. In februari 1946 werd Slegde ontslagen uit de Marine Corps met de rang van korporaal.