Von den ehelichen Kindern Schwachheims fiel Rudolf (Geburtsdatum unbekannt) als bayerischer Oberleutnant im Jahr 1800 bei Hohenlinden. Von den drei Töchtern heiratete Eleonore (1766–1842) Anselm Freiherr von Osterberg (1750–1823). Josephine (1776–1832) und Augusta (1780–1848) blieben ledig. Der uneheliche Sohn Daniel (1760–1828) erhielt eine handwerkliche Ausbildung und musste im Alter von seiner Heimatgemeinde Lausanne unterstützt werden.