En el año 1092, a la muerte de Armengol IV, el castillo de Calasanz pasará a su hijo Armengol V, aunque en el 1096 se perderá tras una "razzia" de musulmanes de Lérida.