Per Fett var sønn av tidligere riksantikvar Harry Fett, og far til Tryggve Fett, seniorrådgiver ved Bymuseet i Bergen. Han var gift med Eva Fett.