Patton er det eldste av tre barn og vokste opp på familiens gård hvor hans foreldre også mottok fosterbarn. Hans far, Bill Patton, var dramatiker, teaterinstruktør og luthersk prest, og virket som prest ved Duke University.