Raimond var dypt religiøs og ønsket å dø i det hellige land. Han var derfor en av de første som tok opp korset da kallet til det første korstoget ble forkynt. Raimond var den eldste og rikeste av korsfarerne, og han forlot Toulouse på slutten av oktober 1096. Han hadde med seg et stort følge som inkluderte hans kone Elvira av Castilla, hans sønn, som bare var et spedbarn og som døde på reisen, og Adhemar, biskop i Le Puy, den pavelige legaten. Han ignorerte ønsker fra sin niese, Filippa (den rettmessige arvingen til Toulouse), om å gi henne styret over Toulouse mens han var borte. Han satte Bertrand, sin eldste sønn, til å styre i stedet. Han marsjerte til Dyrrhakium og videre østover til Konstantinopel langs den samme ruten som ble brukt av Bohemond av Taranto. På slutten av april 1097 var han den eneste av korsfarerlederne som ikke sverget troskapsed til den østromerske keiser Alexios I Komnenos. I stedet sverget Raimond en vennskapsed og tilbød sin støtte mot Bohemond, felles fiende av både Raimond og Alexios.