Unge George gikk på Mount Hope Institution i Baltimore og kom inn på United States Military Academy (West Point) i 1831, først og fremst av finansielle grunner. Han ble uteksaminert i 1835 som nr. 19 i sitt årskull på 56 kadetter. I ett år tjenestegjorde han med 3rd U.S. Artillery i Florida og kjempet mot seminole-indianerne før han sa opp fra hæren, en karriere han ikke hadde til hensikt å følge selv mens han gikk på West Point.