Jean de Collas ble født i den hugenottiske høyborgen Sedan, og mistet sin mor bare tre år gammel. I 1685 måtte han etter opphevelsen av Nantes-ediktet med sin far i Wilhelm av Oraniens følge flykte fra den franske forfølgelsen av hugenottene til Nederland. Collas' far var en nær fortrolig av prins Wilhelm. I 1688 reiste Collas-familien sammen med prinsen videre til London. Der vokste Collas opp i hertugen av Bedfords hus i Covent Garden og på dennes gods i Woburn Abbey. Allerede 1688 var Collas pasje hos hertugfamilien og senere hos dronning Maria II (gift med prins (og senere konge) Vilhelm). Ved kroningen av Vilhelm og Maria i Westminster Abbey 11. april 1689 bar han slepet.