Lovett var i 55 år gift med Suzanne Rosza, som han møtte da de begge studerte ved Royal College of Music. De fikk to barn, fem barnebarn og åtte barnebarns barn. Han giftet seg på nytt, med forfatterinnen Dorinde Van Oort.