Era hijo de Green Clay, uno de los propietarios de tierra y de esclavos más ricos e importantes de Kentucky.