Han fødtes i København i 1633 som sønn av legen Ole Worm og hans 2. hustru, Susanne Madsdatter. I årene 1653-63 studerte han i utlandet, ble i 1657 doktor i medisin ved Padua, og etter sin hjemkomst igjen professor i fysikk ved Københavns Universitet. I 1671 overtok han rollen som overbibliotekar ved Kongens Store Slottsbibliotek etter Peder Griffenfeld. Under ham ble biblioteket overflyttet fra Københavns slott til den nye bygning i 1672. I 1679 ble Esaias Pufendorfs bibliotek innlemmet i samlingen, og i 1697 utstedtes den første forordning om pliktavlevering.