Hun var datter av høyesterettsadvokatene og Venstre-politikerne Sigrid Stray (1893–1978) og Christian Stray (1894–1981). Hennes mor var Norges andre kvinnelige høyesterettsadvokat. Signe Marie Stray Ryssdal overtok som eier av gården Sofienlund på Tromøy etter at faren døde i en bilulykke i 1981. Hun var gift med høyesterettsjustitiarius Rolv Ryssdal, som døde i 1998.