El IV duque quedó bajo la tutela de su madrastra Leonor Pérez de Guzmán y Zúñiga, su cuñado Pedro Girón, Per Afán de Ribera, Juan de Barahona y Antón Rodríguez Lucero.