Greven av Toulouse begynte å bygge en stor borg på en åsrygg han kalte «Pilegrimsfjellet», noen få kilometer fra selve Tripoli. Fortet er fremdeles kjent lokalt som Qal'at Sanjil, eller «St Giles' borg» i henvisning til Raimond. Borgen forble i kristne hender mellom 1103 og 1289, lengre enn noen andre i kongedømmet Jerusalem. Selv med en fryktinngytende festning og rutinerte styrker, trakk beleiringen av Tripoli ut, og varte til og med lenger enn Raimond levde. han døde 25. februar 1105. Men de forskjellige komponentene i beleiringen forble intakt, så stor var fristelsen av havnen. Den var en strategisk forbindelse mellom franskmennene i sør og normannerne i nord.