Kollegiets nåværende bygning er fra 1865–1866 og tegnet av Kommunehospitalets arkitekt Christian Hansen. Den ble forhøyet i 1920 og er siden blitt fredet.