El castillo se mantuvo, por esa razón en segundo plano, entrando en decadencia, principalmente después del siglo XV, con la expulsión de los judíos del país, que en aquella época eran los únicos que lo habitaban.