Det er uvisst når Skien fikk sin første høyere skole, men det eksisterte en latinskole alt i 1617 da Peder Paus (f. 1590) var rektor for denne skolen; i 1629 hadde Søfren Borse (f. 1610) denne stillingen. Latinskolen opphørte på 1700-tallet, men i 1823 ble «Skiens lærde Skole» opprettet. Denne skolen holdt til i en bygning i nærheten av den gamle kirken, og gikk tapt i bybrannen i 1886. På dette tidspunktet var en ny bygning allerede reist, i 1883 sto det nye bygget ferdig på Brekkeby.