Han var fra 1941 gift med Märta Katz (1916–2001) som han hadde to døtre med. Hermansson var den rikeste partilederen i sin tid. Årsaken var konas formue og felles beskatning at ektefeller.