En 1476 es cedido al mariscal de Castilla Alfonso de Valencia y Bracamonte, y al año siguiente, en 1477, el castillo pasó a ser propiedad de Alonso Ulloa de Fonseca Quijada, obispo de Ávila (es muy habitual confundir este obispo con otros familiares del mismo nombre, Alonso de Fonseca, más importantes porque fueron arzobispos).