Han var gift med fylkesmann i Aust-Agder Signe Marie Stray Ryssdal og far til leder av Den norske advokatforening Anders Chr. Stray Ryssdal, juridisk direktør i Yara-konsernet og styremedlem i Norges Banks hovedstyre Kristine Ryssdal og Schibsted-direktør Rolv Erik Ryssdal.