Ystebø var far til Bjarte Ystebø (født 1979), assisterende redaktør i fra 2010 til 2022 og politiker for Kristelig folkeparti, og farfar til ungdomspolitikeren Joel Ystebø (født 2001).