Tuvo una fuerte enemistad con Fernando Álvarez de Toledo y Pimentel, conocido como el Gran Duque de Alba.