Fowlds ble født i Balham i London. Han var sønn av Ketha Muriel og James Witney Fowlds. Fowlds var gift to ganger; først med skuespilleren Adrienne Corri og senere med danseren Lesley Judd, som i likhet med Fowlds var en populær programleder fra engelsk barne-TV.