Hans besteforeldre på begge sider kom fra Breathitt County i Kentucky i randen av Appalachia, og flyttet til Middletown i Rustbeltet, hvor J.D. Vance vokste opp i en arbeiderklassefamilie som var i ferd med å miste fotfestet på grunn av økonomiske endringer, arbeidsledighet, skilsmisse og skadelig bruk av rusmidler. J.D. Vance og søsteren hans ble først og fremst oppdratt av besteforeldrene på morssiden; Vances far, Donald, forlot familien tidlig. Vances mor hadde rusmiddelavhengighet og var ute av stand til å ta seg av de to barna alene.