El edificio actual se inició en tiempos de Carlos I y ha ido incorporando sucesivas transformaciones a lo largo de los siglos.