Les comptes-rendus des actes de Gouffier au début de la croisade sont un peu douteux. Il est censé s'être distingué au siège de Nicée en 1097. Par la suite, pour traverser l'Anatolie, l'armée croisée se sépare en deux groupes. Selon la légende, Gouffier faisait partie du groupe qui est pris en embuscade à la bataille de Dorylée le . Selon cette version, lors de cette embuscade, Gouffier est envoyé chercher le secours de la seconde armée, qui, avec Godefroy de Bouillon, arrive juste à temps pour vaincre les Turcs. Cependant, il est plus probable que Gouffier fait déjà partie de l'armée plus grande, avec Godefroy et son propre seigneur Raimond IV.