Pontoppidan overtok i Bergen etter biskop Oluf Bornemann, men ønsket i utgangspunktet ikke å bo i Norge, og kom ikke til Bergen før i juni 1748. Statsarkivet i Bergen oppbevarer i dag biskopens offisielle korrespondanse som viser at han var et arbeidsjern av de sjeldne. Pontoppidan kommenterte alt fra tiende til skilsmissespørsmål og problemer med kuene som gjorde fra seg altfor nær dørene på Bergen domkirke. Men skoleverket var det som opptok Pontoppidan mest. I Bergen etablerte han et lærerseminar på Christi Krybbe skoler. Pontoppidan mente at studentene burde rekrutteres fra bondestanden, fordi ingen andre kunne overleve på det kostholdet folk holdt seg med i de norske landdistriktene. Pontoppidan opprettet også en helt ny skole i Bergen, nemlig , ment som et ekstratilbud til latinskolens elever, som kunne lære tysk og fransk der. Utgiftene ved å bygge seminariet, visstnok 800 rigsdaler, påtok Melchior Falch seg som takk fordi han fikk tildelt sorenskriverembedet på Sunnmøre fra 1754. I 1752 stod skolen klar til å ta imot sine første elever, tolv gutter, som fikk tilbud om kost og losji. Formålet var å profesjonalisere Bergens handelsstand.