A principios del siglo XIV se interpuso en el gobierno de Pinilla de los Barruecos el linaje de los Rojas, y más tarde el de los Velasco, que intentaron acabar con la presencia monacal pero no lo lograron, pues hasta el siglo XIX hay datos que afirman la dependencia del monasterio benedictino.