Sumner ble født den 30. januar 1797 i Boston i Massachusetts, og var sønn av Elisha Sumner og Nancy Voss Sumner. Hans mellomnavn kan opprinnelig ha vært fra hans mors pikenavn. Etter at han mistet interessen for en merkantil karriere i Troy i New York, vervet han seg som fenrik i 2. infanteriregiment den 3. mars 1819. Han ble forfremmet til løytnant den 25. januar 1825.