Rogier vokste opp i Tournai som . Hans far, Henri de le Pasture, var håndsverker som laget kniver. Hans mor het Agnes de Watrélos.