Fue el primer palacio del marqués de Rafal, por lo que también fue primera mansión de la gobernación oriolana.