Estas visitas pastorales lo forzaron a pasar solo ocho de sus veinticuatro años como arzobispo en la ciudad de Lima, lo que le granjeó algunas críticas de parte de las autoridades virreinales.