Por enlaces matrimoniales el castillo pasa a la casa de Montijo y, en el siglo XIX, lo heredó la condesa de Teba, Eugenia de Montijo, que se convertiría en emperatriz de Francia al casarse con Napoleón III.