小乔治·史密斯·巴顿于1885年11月11日在他家人位于今天圣玛利诺附近的一个农场出生，父亲是老乔治·史密斯·巴顿（），母亲叫鲁斯·巴顿（），母亲的娘家姓叫威尔森（），巴顿还有个妹妹安妮（），一家人拥有苏格兰—爱尔兰和英格兰血统。巴顿的家庭有着歷史悠久的军事背景，于美国独立战争普林斯顿战役中遇难的休·默瑟（）与巴顿家族有血缘关系，巴頓的祖父老乔治·S·巴顿（）上校曾在南北戰爭期间统领弗吉尼亚第22步兵团并最终战死沙场，他的叔祖沃勒·T·巴顿（）也在盖茨堡之役的皮克特冲锋行動中丧生。不过，巴顿的父亲从维吉尼亚军事学校毕业后并没有走上军事生涯的道路，而是成为了一名律师，之后还当选洛杉矶县地区检察官。巴顿母亲一方的亲戚包括本杰明·戴维斯·威尔森（），他曾担任洛杉矶市长，而且是一位成功的商人。巴顿家世显赫，從小就生活在约810公顷大的庄园中。