En effet, le 1095, le pape Urbain II appelle la Chrétienté à libérer les Lieux Saints de l’occupation musulmane. Roger II annonce sa participation au sein de l’armée de Raymond de Saint-Gilles, comte de Toulouse, mais diffère son départ pour une raison inconnue. Il le diffère tellement qu’il se fait excommunier par le pape, et arrive en Terre sainte après la prise de Jérusalem. On ne sait rien de son action en Terre sainte, peut-être participa-t-il à une des batailles de Ramla ou au siège de Tripoli. Cette seconde possibilité est la plus probable, car il rentre dans ses domaines en 1105, accompagnant Guillaume de Cerdagne, comte de Tripoli, lequel ramenait avec lui la veuve et le fils de Raymond de Saint-Gilles, mort pendant le siège de Tripoli.