Los dos cuerpos superiores se construyeron por orden de don Juan Pacheco a mediados del siglo XV a base de mampostería.