Sossen Olsen var gift med skihopperen og forfatteren Thorleif Schjelderup fra 1942 til 1947, og de fikk to barn sammen. Senere giftet hun seg med kunstneren Guy Krohg, som var barnebarn av maleren Christian Krohg og sønn av maleren og scenografen Per Krohg. Tilsammen fikk hun seks barn, men mistet tre av dem. Sossen og Guy var kjent som «de siste bohemer», Guy døde i 2002. I 2015 kom boken om hennes liv, på Kagge Forlag.