Etter den nederlandske republikkens fall og etableringen av Den bataviske republikk (et lydrike under det revolusjonære Frankrike) i januar 1795 frasa Bylandt seg sin stilling og sluttet seg til arveprinsen (den fremtidige Vilhelm I av Nederland) i Bremen. Sammen med andre motstandere av det nye regimet fulgte han prinsen til Storbritannia senere samme år for å slutte seg til en gruppe emigranter som tilbød sin tjeneste til britene. Den 25. november 1795 fikk han en kapteinstilling i regimentet Hompesch Hussars og ble med de for å kjempe i Vest-India. I 1796 ble han med grad som major overført til et regiment med jegere (fransk: chasseurs) og ble forfremmet til oberstløytnant i 1797. Han utmerket seg så under angrepet på Trinidad at han ble gitt i oppdrag å styre Antigua. Han vendte tilbake til regimentet Hompesch Hussars med grad som oberstløytnant for å delta i undertrykkingen av det irske opprøret. Han deltok i og utmerket seg i slaget om Ballinamuck.