Våren 1754 søkte Pontoppidag kongen om lov til å forlate Bergen, offisielt for å følge sine to eldste sønner til København, der de skulle gå på skolen. Han ønsket også å se til sin danske formue. Men først og fremst var han blitt innblandet i en utroskapsskandale. En gift varaborgermester i Bergen, Peter Severin Garboe, sønn av presten i Vejrum, hadde et par år tidligere gjort Maren Mathiesen - datter av politimesteren i Bergen - gravid. (Garboes kone Gidske Johanne Kaas fikk i 1760 skilsmisse ved kongelig reskript pga. dette.) Den gifte Garboe og den gravide Maren forsøkte å skjule skandalen ved å få en felles venn, Paul Lakier ved Bergen katedralskole, til å følge Maren til Danmark, der de utga seg for å være et ektepar slik at barnet kunne bli anerkjent som «ektefødt». Men ryktene nådde til Bergen, der en undersøkelse ble iverksatt om saken. I forhør navnga Garboe også biskop Pontoppidan som mulig barnefar. Biskopen ble rasende. Nå hadde han fått nok av Bergen. Med kongens tillatelse til avreise la han Bergen bak seg for godt. Det siste brevet han skrev fra sin bolig i byen, er datert 13. juli 1754. Like fullt fikk han beholde inntektene fra bispestolen i Bergen helt til sin død.