Han ble født i New York City i 1774 og ble døpt Elias Brevoort Woodward 6. november i en reformert nederlandsk kirke. Han var eldste sønn av John Woodward, en handelsmann fra New York City som kjempet i den amerikanske revolusjonen og mistet sin formue som resultat av krigen. Hans mor Ann Silvester Woodward, datter av Francis Silvester og niesen til Ann Silvester, kone av Elias Brevoort, en ledende prerevolusjonær innbygger av Manhattan med en stor eiendomsformue og som var Woodwards navnebror. Familien flyttet til Philadelphia i 1796. I tidlig manndom valgte Woodward å bli kalt "Augustus" heller enn Elias.