Տրիպոլիից 3 կիլոմետր հեռավորության վրա գտնվող մի բլրակի վրա, որը Ռայմունդ IV-ն անվանեց Ուխտավորների լեռ (ֆր.՝ Mons Peregrinus), սկսեց մի մեծ ամրոցի շինարարություն։ Տեղացիներն այն անվանում էին «Կալաաթ Սանջիլ»: Այն հայտնի է «Սուրբ Ժիլի ամրոց» անվանմամբ, քանի որ իշխանին անվանում էին նաև Ռայմունդ դը Սեն-Ժիլ։ Չնայած այս նոր ամրոցին և փորձառու զինվորներին, Ռայմունդի կողմից Տրիպոլիի պաշարումը ձախողեց նավահանգստի ապահովումը։ Նա մահացավ 1105 թվականի փետրվարի 25-ին։