Su tolerancia con el contrabando de mercancías y esclavos llevó a su destitución y juicio, por lo que José Martínez de Salazar lo sucedería en el cargo de gobernador, pero fue exonerado.