Ketil Hvoslef er sønn av komponisten Harald Sæverud og pianisten Marie Hvoslef, og bror av komponisten Tormod Sæverud. Han er far til Trond Sæverud og Line S. Hvoslef.