Elers' Kollegium er kjent for å være stedet hvor Henrik Steffens holdt sine foredrag om filosofi og poesi i 1802 til 1803. Disse foredragene er tillagt stor betydning som starten på Den danske gullalder.