El Palacio se desarrolló a partir de un torreón preexistente de planta circular, situado en el ángulo Sudoeste del edificio actual.