Bygningen ble tegnet av Johan Joachim Reichborn og oppført i 1769–1770. Den «milde stiftelsen» ble opprettet av kjøpmann og legatstifter Zander (egentlig Alexander) Kaae (1712–1765). Senbarokkbygningen har en hovedbygning og to sidefløyer. Bygget hadde ifølge Reichborns tegning en rikt utformet ark i rokokkostil, men denne arken ble bygget om.