Die Pattons waren eine Familie schottisch-irischer und englischer Herkunft, zu denen etliche Militärs und Politiker gehörten, so unter anderem die Generale Hugh Mercer und Hugh Weedon Mercer. George Smith Pattons Eltern waren George Smith Patton Sr. (1856–1927) und seine Frau Ruth Wilson (1861–1928), die Tochter von Benjamin Davis Wilson "(Don Benito)", einem kalifornischen Politiker und Indianerfreund. Er war bereits der dritte George Smith Patton nach seinem Großvater Colonel ("Oberst") George S. Patton senior (1833–1864). Pattons Vater war ein Freund John Singleton Mosbys, eines so berühmten Kavalleristen wie berüchtigten Guerillaführers. Ein Großonkel, Oberst Waller T. Patton, starb 1863 im amerikanischen Bürgerkrieg bei Gettysburg, weitere dienten als Oberste in der Confederate States Army oder bei der Confederate States Navy. John M. Patton, sein Urgroßvater, war stellvertretender Gouverneur des Staates Virginia.