Джордж Паттон родился в семье и Рут Уилсон. Отец, работавший адвокатом, приходился родственником американскому генералу Уоллеру Паттону, сражавшемуся на стороне КША, погибшему в сражении под Геттисбергом. Дед, также Джордж Паттон, в годы гражданской войны в США командовал 22-м вирджинским пехотным полком. В детстве Джорджу Паттону-младшему было трудно учиться читать и писать (историк Алан Аксельрод замечает, что это могло быть следствием дислексии), но во взрослой жизни он был известен как увлечённый читатель. Получал домашнее образование, пока в возрасте одиннадцати лет не был определён в Школу Стивена Кларка в Пасадене, где проучился последующие шесть лет. В школьные годы увлекался чтением военно-исторической литературы о подвигах Юлия Цезаря, Жанны д’Арк, Наполеона Бонапарта и Сципиона. С 1903 по 1904 год обучался в Военном институте Виргинии. В 1909 году закончил Военную академию в Вест-Пойнте. На летней Олимпиаде 1912 года был участником соревнований по современному пятиборью, тогда впервые включённых в олимпийскую программу, занял пятое место и стал сильнейшим участником из числа спортсменов, представлявших не Швецию. Начал военную карьеру в 1913 году как лейтенант кавалерии. Был адъютантом генерала Першинга во время экспедиции в Мексику в 1916—1917 годах.