Jean Stafford ble født som det yngste av fire barn. Hennes far eide en valnøttgård, men gikk konkurs i 1921 etter å ha feilsatset penger på børsen. Familien kom seg aldri på fote igjen etter at de ble tvunget til flytte til Boulder i Colorado.