Bygningen på Sankt Hansgatan 21, som siden 1997 er byggnadsminne, ble oppført 1847-58 etter tegninger av C Bergman som Visbys første folkeskole. Seinere ble den Visbys småskola. Fra slutten av 1950-årene ble bygningen disponert av Visby videregående skole. Etter at Säveskolan ble bygget i 1971 flyttet gymnaset ut og bygningen ble først og fremst benyttet for andre undervisningsformål. I 1987-88 ble bygningen totalrenovert og i forbindelse med dette flyttet det nyetablerte kunstmuseet inn i bygningen.