Haavard Haavardsholms nevø er forfatteren Espen Linge Haavardsholm (1945-). Espen Linge Haavardsholm er sønn av psykologen Borger Haavardsholm (1919-2007), bror av Haavard Haavardsholm. Haavard Haavardsholms sønn er religionshistoriker Jørgen Haavardsholm (1955-).