Clay giftet seg med skuespilleren Lorna Heilbron i 1980. Han døde av leverkreft i London i 2000. Han etterlot sin hustru, døtrene Ella (født 1981) og Madge (født 1986).