Gustaf Armfelt hadde flere forhold og barn. Mest kjent var grevinnen Magdalena Rudenschöld (1766–1823), som var hans elskerinne i årene 1785-1793. Med den parisiske skuespillerinnen Mademoiselle L'Eclair hadde han en sønn Mauritz Clairfelt (1780–1841). I eksilperioden i Kurland i årene 1794-1799 var han gjest hos den kurlandske hertugen Peter von Biron. Med Wilhelmine av Kurland skal han ha hatt to døtre, Gustava Wilhelmina Charlotta (Mina) Armfelt (1798–1863), og Adelaide Gustava Aspasie (Vava) Armfelt (1801–1881). Mina ble offisielt å være datter av fetteren Fredrik Armfelt. Vava ble adoptert i 1812 til den adlige slekten Armfelt.