巴顿家族有血缘关系，巴顿的祖父老乔治·S·巴顿（）上校曾在南北战争期间统领弗吉尼亚第22步兵团并最终战死沙场，他的叔祖沃勒·T·巴顿（）也在盖茨堡之役的皮克特冲锋行动中丧生。不过，巴顿的父亲从维吉尼亚军事学校毕业后并没有走上军事生涯的道路，而是成为了一名律师，之后还当选洛杉矶县地区检察官。巴顿母亲一方的亲戚包括本杰明·戴维斯·威尔森（），他曾担任洛杉矶市长，而且是一位成功的商人。巴顿家世显赫，从小就生活在约810公顷大的庄园中。巴顿小时候在读和写上表现不佳，但最终克服了这些困难，成年后也是一位众所周知的书