Schweinsberg heiratete am 4. Juli 1835 in Gotha Agnes Madelung (1800–1891), die Witwe des Majors Karl Anton von Gilsa (1785–1833) zu Siebertshausen und Mutter von Leopold von Gilsa und Julius Friedrich von Gilsa. Aus der Ehe ging der Sohn Georg Karl (1836–1871) hervor, der als Hauptmann in Baden-Baden an seiner Verwundung verstarb, die er während der Belagerung von Belfort erlitten hatte.