Seminaret gikk det ikke videre bra med, ettersom rektor ved Bergen latinskole, Jacob Høyer, var misunnelig på den nye skolen, og derfor satte opp latinskolens undervisning slik at det ble praktisk vanskelig for elevene å følge seminarets undervisning. I 1781 fikk seminaret en utvidet fagkrets som inkluderte navigasjon og geografi, men det hjalp ikke. Intriger elevene imellom skapte så mange problemer at Pontoppidans skole ble nedlagt i 1808. Seminarets boksamling på 1.300 bind ved opprettelsen ble donert til rivalen latinskolen da seminaret ble nedlagt.