Rye giftet seg i 1823 med Caroline Krabbe, datter av tidligere kaptein Niels Frederik Krabbe og Vilhelmine Frederica Wesenberg, men hun døde allerede året etter. I 1832 giftet han seg med svigerinnen Jacobine Dorthea Amalia Krabbe, som også døde et år etter bryllupet. To små døtre døde også fra ham. Høsten 1840 giftet han seg for tredje gang, med Elisa Henriette (Henrikke) Schultz, datter av kjøpmann og kaptein Peter Heinrich Schultz.