Nombró por su sucesor a su sobrino Alonso de Fonseca y Acevedo, quien mandó construir el castillo en 1473 y lo convirtió en residencia señorial, donde celebró grandes fiestas que eran frecuentadas por diferentes personalidades, entre las que destaca el cardenal francés Jean Jouffroi, que llegó a Castilla con la propuesta de matrimonio entre la infanta Isabel (después reina) con el duque de Berry de Guyena, hermano de Luis XI de Francia.