Rodziny Szwarce nie założył. Jego bracia Józef Jan (ur. 1805), Feliks Jan (1807–1838), Konstanty Edward (1817–1853), wszyscy jak on wychowankowie Liceum Warszawskiego, i siostra Emilia Regina Heurich (1819–1905) działali w ruchach niepodległościowych obu polskich powstań narodowych XIX wieku. Józef Jan był w czasie powstania porucznikiem ułanów, po klęsce Polaków wyemigrował do Francji i założył tam rodzinę, żeniąc się z panną Eckelt, siostrą kolegi szkolnego Jana Eckelta. Jego syn Bronisław Szwarce kontynuował niepodległościowe tradycje rodziny. Emilia Regina była czynną działaczką obozu Czerwonych w czasie Powstania Styczniowego. Feliks Jan służył jak brat w artylerii, odniósł rany w bitwie pod Grochowem, potem do chwili konfiskaty majątku przez władze rosyjskie prowadził rodzinną pracownię złotniczą. Trzynastoletni Konstanty Edward próbował się dostać do Gwardii Honorowej gen. Chłopickiego, później, tak jak kolega szkolny i rówieśnik-trzynastolatek Władysław Bentkowski, walczył jako nieoficjalny ochotnik.