I 1666 hadde han giftet seg med Else Luxdorph (d. 1728), en søster til oversekretær Bolle Luxdorph. Hun fødte ham 8 barn. I sine siste år var Worm svakelig, og døde den 17. mars 1704 i sin gård på Gammeltorv. Den kostbare samling av nordiske, især islandske håndskrifter, som han for størstedelen hadde arvet etter faren, gikk til grunne ved Københavns brann i 1728 i hans sønns, Sjællands biskop Christen Worms, bibliotek.