Holley ble født i Lubbock i Texas som det fjerde barnet i familien med faren Lawrence Odell «L.O.» Holley (1901–1985) og moren Ella Pauline Drake (1902–1990). Han fikk kallenavnet Buddy tidlig i barndommen. Familien Holley, med unntak av «L.O.», var musikalske og i tidlig alder lærte Buddy å spille fiolin, piano og gitar.