El X Marqués de los Vélez, Antonio Álvarez de Toledo, compró, con facultad real, los Mayorazgos de Almanzora y encargó al arquitecto Ventura Rodríguez la transformación de la casa de Almanzora en un palacio representativo del neoclásico en la zona.