En 1453, Alonso de Fonseca y Ulloa obtuvo del rey Juan II de Castilla el permiso real para edificar el castillo, aunque su construcción no se empezó hasta varios años después.