Man ble enige om å bygge eget hus for borgerskolen og det stod ferdig høsten 1874. Etter at borgerskolen hadde flyttet fra Prestegata skiftet den i 1879 navn fra «Den borgerlige realskole» til «Risør kommunale middelskole».