Bylandt ble født i Haag som sønn av generalmajor Alexander, greve van Bylandt og Anne, baronesse van der Duijn. Hans far var fungerende guvernør for festningen ved Breda og ble i 1793 holdt ansvarlig for den dårlige innsatsen for å forsvare byen mot de franske styrkene som angrep De forente Nederlandene. Alexander ble stilt for krigsrett og dømt til livsvarig fengsel.