Skolen ble etablert som middelskole i 1832. I «Brinchmann-tiden», 1849–93, satte adjunkt og etter hvert rektor Alexander Brinchmann preg på skolen med sine allsidige interesser. Det ble gjennomført «militære» øvelser på Årø og store kulturarrangementer i skolens regi, men elever fra hans tid fortalte også om harde avstraffelsesmetoder. Institusjonens kanskje mest kjente elev, Bjørnstjerne Bjørnson, kalte middelskolen «en liden, meget pyntelig skole / på hvilken både kirke og stat kunde stole». Da han 17 år gammel forlot byen, var det med ordene «Nu farvel! fordømte Skole / Nu farvel! mit Fængselshul», som han senere formulerte det, i sinnet. I 1863 fikk den status som «lærd skole», hvor elevene kunne avlegge examen artium.