La expulsión de los judíos tuvo aquí una de sus historias más importantes en 1480: «Igualmente los justicias de Ledesma recibieron orden de ir a Pereña, o donde fuera necesario, para prender a Pedro de Miranda, que era pasador de los judíos fuera de los caminos señalados, y a García de Ledesma, y a Pedro Herrero, quienes habían intentado matar a Alonso de Sejas, encargado de que se cumpliera la salida de los judíos por los caminos estipulados para tal cosa en el término de la mencionada villa -Ledesma- y en Vilvestre».