Durante 1491 y 1492, se reforma el castillo por orden de Cardenal Pedro González de Mendoza siendo su maestro Alberto de Carvajal junto a Juan de Tarvernillas, Diego de Espina y Juan García de Praves.