Durante el gobierno de Francisco Pérez de Robles, entre 1539 y 1543, la administración fue perniciosa e inmoral, por lo cual le aparejó un juicio de residencia y la destitución del mando.