Bylandt giftet seg den 30. juni 1806 med Mary Christian (datter av kontreadmiral Hugh Cloberry Christian) på Isle of Wight. Etter hennes død i 1818 giftet han seg den 22. desember 1825 med Virginie Fréderique Wilhelmine Aspasia Craan (datter av Willem Benjamin Craan) i St. Joost ten Node (i Belgia).