Gram Parsons kom fra en velstående bakgrunn, men faren begikk selvmord da han var liten, og moren giftet seg igjen. Han vokste opp i Waycross, Georgia.