Hans eneste overlevende sønn, agent, siden etatsråd, Johan Christian Ryberg, f. 1767, d. 15. januar 1832, fortsatte forretningen, men huset Ryberg gikk konkurs i 1820, ikke som følge av tap under krigen med England, men på grunn av tap ved statsbankerotten i 1813 og senere tilstøtte uhell, og staten, som hadde støttet ham med betydelige lån, overtok blant annet hans vakre gods Frederiksgave.