Ettersom Vår Frue kirke var sognekirke for godt over halvparten av befolkningen i Trondheim, ble kirkegården etterhvert for trang. Ved utgraving av nye graver dukket det stadig opp gamle beinrester. Disse hadde helt siden middelalderen blitt lagt i et benhus på kirkegården. Benhuset ble gjenoppført etter hver brann, før det til slutt ble revet i 1743 og beinrestene lagt i en felles grav.