Bygningen ble oppført etter tegninger av byggmester Hans Martin Heintz, innviet i 1706. Murbygningen var opprinnelig på en etasje med arker to arker på langsiden og en ark på kortsiden. Rundt 1760 ble en ny etasje bygget på. Bygget er oppført i tegl og tre og er et av få hus med utmurt bindingsverk i Bergen. Den gamle latinskole ble etterhvert for liten og i 1840 sto en ny skolebygning ferdig på den andre siden av Domkirken. Bygningen har siden blitt brukt til ulike formål – gamlehjem, barnehage og uteseksjon. Bygningen ble fredet av Riksantikvaren i 1927 og restaurert av arkitektene Hansteen i 1972.