Fra første stund fikk dette skolebygget navnet «latinskolen» på folkemunne. Skien videregående skole avdeling Brekkeby holdt til i bygget frem til juni 2019. Skoledriften opphørte i forbindelse med at Skien videregående skole flyttet inn i nybygg på Klosterøya.