Svarstad skilte seg fra sin første kone Ragna Moe i 1912 for å gifte seg med forfatteren Sigrid Undset. Svarstad og Undset møttes i Roma i 1909. De flyttet fra hverandre i 1919, og da Undset konverterte til katolikk i 1924 fikk hun innvilget skilsmisse fordi han hadde vært gift tidligere.