Propiedad de la familia Padilla, de ahí que fuese denominado Casa Fuerte de los Padillas y posteriormente de los Duques de Abrantes, sucediéndoles el Marqués de Navamorcuende.