Ryssdal er sønn av Rolv Ryssdal og Signe Marie Stray Ryssdal, og bror til Rolv Erik Ryssdal og Kristine Ryssdal. Han er gift med Bettina Banoun. Han er cand.jur. (1983), dr. juris (1995) fra Universitetet i Oslo og har en master-grad (LL.M) fra Harvard Law School (1986). Han fikk møterett for Høyesterett i 1989.