Gregg Almans foreldre var Willis Turner Allman og Geraldine Robbins Allman. I 1949 ble Willis Allman, kaptein i US Army, skutt og drept av en haiker han hadde plukket opp. Etter dette flyttet brødrene Gregg og Duane Allman (1946–1971) med sin mor fra Nashville til Daytona Beach i Florida, der de spilte i ulike lokale band.