Han var far til Ole Martin Ystgaard og farfar til Hans Magnus Ystgaard. Sønnesønnen utga i 2016 boka .