En el palacio residió el infante Luis Antonio de Borbón y Farnesio con su familia, donde nacieron sus dos hijas, María Teresa de Borbón y Vallabriga, condesa de Chinchón, marquesa de Boadilla del Monte, y María Teresa de Borbón y Vallabriga, duquesa consorte de San Fernando de Quiroga.