Jan was een deelnemer aan de Vierde Kruistocht en voerde daarbij in 1202 een vloot van zijn leenheer, graaf Boudewijn IX van Vlaanderen, rond het Iberisch Schiereiland naar de haven van Marseille, waar hij de winter van 1202/1203 doorbracht. Daar pikte hij de vrouw van de graaf, Maria van Champagne, en de graaf Guigues III van Forez op. In plaats van zich bij de hoofdvloot van de kruistocht aan te sluiten, liet Jan zijn vloot direct naar Palestina varen, waar hij in het voorjaar van 1203 in Akko landde. Terwijl graaf Boudewijn in 1204 aan de verovering van Constantinopel deelnam en daarop tot keizer werd benoemd, vocht Jan in het Heilige Land tegen de Saracenen. In 1206 keerde hij terug naar zijn Vlaamse vaderland.