Biskopsembetet har i långa tider haft sina motståndare och belackare.