Universitetsbiblioteket i Oslo (1824–1852) og Deichmanske bibliotek har hatt tilhold her. Fra 1852 ble bygningen brukt av Garnisonssykehuset fram til kommunen overtok det i 1897. I 1937 ble Rådmannsgården lokaler for Oslo Kunstforening.