Sucesivamente, estas tierras y sus señoríos pasaron a sus respectivos herederos, hasta un cierto Luis Pardo de la Casta, —primer conde de Alacuás—, el cual en 1582 mandó construir este importante palacio con aspecto de verdadero castillo medieval, probablemente sobre una antigua fortaleza del cinturón defensivo de Valencia.