Han var gift med høyesterettsadvokat Sigrid Kluge (1893–1978) og sammen fikk de datteren Signe Marie Stray Ryssdal, som også ble høyesterettsadvokat og gift med høyesterettsjustitiarius Rolv Ryssdal.