I 1720 blev han kalt til biskop i Viborg, en virksomhet som på ingen måter tiltalte ham. Ved å stille seg imøtekommende overfor Frederik IVs ekteskap med Anna Sophie Reventlow lykkes det ham fire år senere å få stillingen som kongelig skriftefar, en stilling han igjen mistet til Johan Frauen ved Christian VIs tronebestigelse.