Patton acreditava em reencarnação e que tinha vívido vidas anteriores como soldado, orgulhando-se dos laços místicos com seus antepassados, algo que formava parte central de sua identidade. O primeiro Patton na América do Norte foi Robert Patton, nascido na Escócia. Ele imigrou para Fairfax na Virgínia em 1769 ou 1770. Seu avô paterno era George S. Patton Sr., que comandou a 22ª Infantaria da Virgínia na Guerra de Secessão e foi morto na Terceira Batalha de Winchester, enquanto seu tio-avô Waller T. Patton morreu no Assalto de Pickett durante a Batalha de Gettysburg. Patton também descendia de Hugh Mercer, morto na Batalha de Princeton na Guerra da Independência. Seu pai era um rico fazendeiro que fora um advogado e promotor do Condado de Los Angeles, já seu avô materno Benjamin Davis Wilson foi o segundo prefeito de Los Angeles.