Keluarga Patton adalah keturunan Irlandia, Skotlandia-Irlandia, Inggris, Skotlandia, Perancis dan Wales. Nenek buyutnya berasal dari keluarga bangsawan Wales, keturunan dari banyak bangsawan Wales Glamorgan, yang memiliki latar belakang militer yang luas. Patton percaya bahwa dia memiliki kehidupan sebelumnya sebagai seorang prajurit dan bangga dengan ikatan mistis dengan leluhurnya. Meskipun tidak secara langsung diturunkan dari George Washington, Patton menelusuri beberapa akar Inggris kolonial hingga kakek buyut George Washington. Ia juga keturunan dari Raja Edward I Inggris melalui putra Edward Edmund of Woodstock, 1st Earl of Kent. Keyakinan keluarga yang dipegang Patton adalah keturunan dari enam belas baron yang telah menandatangani Magna Carta. Patton percaya pada reinkarnasi, menyatakan bahwa dia telah bertempur dalam pertempuran dan perang sebelumnya sebelum waktunya, selain itu, leluhurnya sangat penting baginya, membentuk bagian sentral dari identitas pribadinya. Patton pertama di Amerika adalah Robert Patton, lahir di Ayr, Skotlandia. Dia berimigrasi ke Culpeper, Virginia, dari Glasgow, pada tahun 1769 atau 1770. Kakek dari pihak ayah adalah George Smith Patton, yang memimpin Infanteri Virginia ke-22 di bawah Jubal Early di Perang Saudara dan terbunuh dalam Pertempuran Ketiga Winchester, sedangkan paman buyutnya Waller T. Patton terbunuh dalam Serangan Pickett selama Pertempuran Gettysburg. Patton juga keturunan dari Hugh Mercer, yang terbunuh dalam Pertempuran Princeton selama Revolusi Amerika Serikat. Ayah Patton, yang lulus dari Virginia Military Institute (VMI), menjadi pengacara dan kemudian pengacara distrik dari Los Angeles County. Kakek dari pihak ibu Patton adalah Benjamin Davis Wilson, seorang pedagang yang telah menjadi Walikota Los Angeles kedua. Ayahnya adalah seorang peternak kaya dan pengacara yang memiliki peternakan seluas 1000 hektar di dekat Pasadena, California. Patton juga keturunan Huguenot Prancis Louis DuBois.