Som pensjonist vendte Torp hjem til Hedemarken. Kåre Håvard Torp var bror av indremedisineren Helge Eivind Torp og sønnesønn av stortingsmannen Eivind Torp.