Hans embedsførsel ble raskt overskygget av en rekke beskyldninger rettet mot ham fra lekfolk og prester i hans bispedømme. Blant dem er det at han skulle være far til et barn. Det tilkom flere påstander om seksuelle (flere barn og elskerinner, med mer) og et liv i luksus ledsaget av finansielle misforhold.