Robert Clay Allison, kjent som «Clay», var fjerdemann av ni barn. Hans foreldre var John og Nancy (Lemmond) Allison. Faren hans var en presbyteriansk prest, som også holdt husdyr. Han døde da Clay var fem år.