Han var sønn av fogden i Senja og Tromsø Ole Rynning og Golla Hveding. Han ble gift med en datter av landhandler Bernt Anker Steen i Ringsaker og var far til utvandrerføreren Ole Rynning, som skrev «Amerika-boka». Han var også morfar til presten Bernt Julius Muus og svigerfar til sin etterfølger Lorentz Peter Elster.