In de 18e eeuw vertoonde de school zowel in onderwijsaanbod als in aantal leerlingen een verder dalende lijn. In 1781 verkoos oud-student van het Athenaeum Illustre Hermann Bosscha het rectoraat aan de Latijnse School boven dat van de school in Gouda. Zes jaar later moest hij, na de Pruisische inval, zijn werk neerleggen vanwege zijn patriottische opvattingen. In het begin van de 19e eeuw kwam er kritiek op het onderwijs. De school speelde net als veel andere Latijnse scholen niet in op de veranderde behoeften uit de samenleving en liet het doceren van moderne talen over aan de Franse school. In 1809 telde de Latijnse School 25 leerlingen, in 1835 nog 17. Het gebouw werd tussen 1828 en 1839 gedeeld met de tekenschool en deels gebruikt voor militaire opslag. In dat jaar verliet de school na eeuwen het oude schoolgebouw en werd ze ondergebracht in het Landshuis iets verderop aan het Grote Kerkhof. Na het aantal van 6 leerlingen op het dieptepunt in 1839 waren er elk jaar ongeveer 10 leerlingen.