29. november 1691 bestemte Elers seg derfor for å utstede retningslinjer for et kollegium som skulle opprettes etter hans og ektefellens død. Kollegiet fikk navnet "Collegium Elersianum". Ektefellen levde til september 1700 og da tok man fatt på opprettelsen av kollegiet. Selve bygningen ble oppført i 1702-05. Dessverre fikk det ikke stå lenge ettersom det ble herjet av brann under bybrannen i 1728. Kun to små hus er bevart av det opprinnelige.