John Weldon Cale vokste opp i Tulsa, Oklahoma. I 1956 sluttet han skolen og tok småjobber samtidig som han forsøkte å slå seg gjennom som musiker. Han hevdet selv at hans spesielle sologitarstil ble til påvirket av rockabilly-musikk og gitarister som Clarence Gatemouth Brown, Chet Atkins, Les Paul og Chuck Berry. På slutten av 1950-årene utviklet Leon Russell og J.J. Cale , en blanding av rockabilly, blues, jazz og country.