Patton nació en San Gabriel, California, hijo de George Smith Patton (30 de septiembre de 1856 – junio de 1927) y Ruth Wilson.