Årsaken til Pattons lære- og leseproblemer kan være at Pattons far hadde sine egne oppfatninger om hvordan utdanning skulle bedrives, og sønnen fikk først som 12-åring lov til å lese bøker. Denne sene introduksjonen til det skrevne ord hjalp på ingen måte hans lese- og skriveferdigheter, og kan muligens forklare hans senere problemer. Gjennom hele livet var Pattons egne brev, direktiver og notater preget av skrivefeil. Han deltok i Sommer-OL 1912 i Stockholm i moderne femkamp, første gang dette var en OL-gren. Patton kom på femteplass.