Merle Haggard bodde først med sine foreldre og to søsken i en ombygd godsvogn i Oildale. Faren hans arbeidet for Atchison, Topeka and Santa Fe Railway og hadde en regelmessig inntekt. Til rett før Merles fødsel hadde familien bodd i Oklahoma. I 1930-årene var mange bønder der hardt rammet av den store depresjonen og av støvstormene under Dust Bowl. Da så også familiens låve brant ned, bestemte de seg som så mange andre å dra avsted til California og søke arbeid i landbruket der.