Rilaklosteret ble gjenopprettet på sitt nåværende sted av Hrelyu, en føydalherre under serbisk overherredømme, i løpet av den første halvdelen av 1300-tallet. De eldste bygningene i komplekset er datert fra denne perioden — Hrelja-tårnet (1334–1335) og en liten kirke rett ved siden av (1343). Biskopens trone og den rikt graverte porten til klosteret tilhører også denne epoken. Imidlertid er osmanernes ankomst mot slutten av 1300-tallet kom en periode av tallrike angrep og ødeleggelser av klosteret fram til midten av 1400-tallet.