Ryberg giftet seg i 1764 med Margrethe Dorothea Otte, en datter av kanselliråd Friedrich Otte i Eckernförde. Hun døde allerede i 1767, kun 18 år gammel. Ryberg selv levde til 29. august 1804, da han stille og uten lidelser sovnet i København. Hans lik ble gravlagt i familiekapellet i Dreslette Kirke på Fyn.