Cassius M. Clay var sønn av general Green Clay, nevø til den amerikanske utenriksminister Henry Clay og til guvernøren av Alabama, Clement Comer Clay. Faren Green Clay var en av de meste velstående plantasjeeiere og slaveholdere i Kentucky.