De buen parecer y gentil presencia, debido a su empeño en hacer cumplir la nueva legislación, entró rápidamente en conflicto con las élites locales, de manera tal que fue depuesto de su cargo por la Real Audiencia de Lima, en 1544, la cual entregó el poder a Gonzalo Pizarro.