Kiedy w 1099 roku zdobyto Jerozolimę i zakończyła się I wyprawa krzyżowa, większość rycerzy biorących udział w krucjacie powróciła do Europy lub pozostała w jednym z nowo powstałych państw w Outremerze. Jednak Rajmund z Tuluzy ślubował do końca życia pozostać na Wschodzie i zamierzał samodzielnie zdobyć ziemie, na których mógłby założyć własne państwo. Po całkowitej klęsce, jaką zakończyła się krucjata z 1101 roku, ruszył do Libanu za cel obierając sobie pas wybrzeża należący do władcy z tureckiej dynastii Banu Ammar, kadiego Fachr al-Mulka, którego główną siedzibą był Trypolis. Rajmund planował pozyskać pomoc Genueńczyków i wykorzystać ich okręty do zdobycia miejscowości nadmorskich. W grudniu 1101 roku wyruszył z Antiochii na południe wraz z innymi baronami – Stefanem z Blois, Wilhelmem z Akwitanii i Welfem z Bawarii oraz grupą ich towarzyszy, zmierzających do Jerozolimy. Po drodze wspólnymi siłami zaatakowali Tortosę wspomagani przez genueńską flotę i wyrwali miasto z rąk muzułmanów. Stało się ono zalążkiem przyszłego państwa Rajmunda, którego stolicą hrabia Tuluzy planował uczynić Hims (nazywany przez łacinników "La Chamelle"). Zdobywszy Tortosę, Rajmund w niezgodzie rozstał się z innymi feudałami, którzy podążyli dalej na południe mając mu za złe, że nie chce im towarzyszyć w dalszej pielgrzymce do Jerozolimy.