Karol Szwedowski był żonaty i miał pięcioro dzieci. Córki – Irena i Maria oraz syn – Józef przeżyli wojnę. Ryszard został rozstrzelany przez hitlerowców 26 lutego 1940 w Palmirach, a Karol (junior) został zamordowany w Auschwitz.