Sverre Hoëm var gift med Anna, født Røskeland. De hadde tre barn, blant dem senere fiskeriminister Knut Hoem.