Han ble i 1887 gift med Ingeborg Ødegaard som døde av tuberkulose allerede i 1912. De fikk fire barn, hvorav to døtre overlevde det første barneår; Mabel Constance (1888–1910) og Viola Beatrice (1895–1993). Hans eneste gjenlevende datter Viola overtok i utstrakt grad konens diplomatiske rolle og forpliktelser i årene som fulgte. Hun giftet seg senere i Norge og bodde resten av livet på Bygdøy i Oslo. Laurits Swenson døde i Oslo i 1947. Han er gravlagt på Norseland Lutheran Cemetery i Nicollet County,Minnesota.