Sin embargo, fue el causante de la gran ruina de la casa de Medina Sidonia, vendiendo gran parte del patrimonio familiar, como el castillo de Vélez-Blanco, el castillo de Villafranca del Bierzo, el palacio del duque de Medina Sidonia en Sevilla y una enorme cantidad de obras de arte.